scrapy 命令行模式的一些参数

官网地址 https://docs.scrapy.org/en/latest/topics/commands.html#configuration-settings

scrapy genspider -l 查看爬虫模板的命令

scrapy genspider example example.com

scrapy genspider -t scrapyorg scrapy.org 这个是另一个的爬虫规则

scrapy list 查看自己的爬虫

scrapy fetch url 我的理解是下载当前页面给出的参数有 --spider=SPIDER

--headers

--no-redirect

可以这么用

scrapy fetch --nolog-headers url

scrapy view url 在浏览器中打开指定的url以查看是否和自己预期的一样

scrapy shell url可以是url和文件的路径

scrapy shell --nolog http://www.example.com -c (responde.status, response.url)

scrapy version 查看scrapy的版本号

scrapy bench 0.17版本添加的具体是什么我也不知道，有兴趣可以查查看， 就是给出一些信息像一分钟能爬取多少页啊

也可以自己创建一些命令一般人应该用不上

COMMANDS_MODULE = 'mybot.commands'

from setuptools import setup, find_packages setup(name='scrapy-mymodule', entry_points={ 'scrapy.commands': [ 'my_command=my_scrapy_module.commands:MyCommand', ], }, )