- 在spiders 同级目录下新建一个commands 文件夹
- 在commands文件夹里新建crawlall.py 和__init__.py文件
- __init.py 文件为空
- crawlall.py 内容如下:
里面包含了传入自定义参数 ,input()
id = input('请输入id:') # 传入自定义参数
for name in spider_list:
self.crawler_process.crawl(name, ID = id,**opts.spargs) # 传入自定义参数
self.crawler_process.start ()
完整代码:
import os
from scrapy.commands import ScrapyCommand
from scrapy.utils.conf import arglist_to_dict
from scrapy.utils.python import without_none_values
from scrapy.exceptions import UsageError
class Command(ScrapyCommand):
requires_project = True
def syntax(self):
return "[options] <spider>"
def short_desc(self)