python爬虫框架：scrapy 命令行详解

这里仅仅说一些我上面没有提到过的，至于上面已经说过的关于项目的创建以及我们的项目的运行我这里就不再赘述

1.genspider 选择生成的爬虫对象的模式

scrapy 在生成爬虫对象的时候可以选择生成的模式，不同的模式会生成不同的爬虫模板，模式的选择如下

λ scrapy genspider -l

Available templates:

  basic

  crawl

  csvfeed

  xmlfeed

λ scrapy genspider -t crawl zhihu www.zhihu.com

Created spider 'zhihu' using template 'crawl' in module:

  testpro.spiders.zhihu

2.check 检查代码的正确性

λ scrapy check

----------------------------------------------------------------------

Ran 0 contracts in 0.000s

OK

3.list 返回项目中所有的 spider 的名称

λ scrapy list

zhihu

4.fecth 快速获取网页返回结果

基本请求

λ scrapy fetch http://www.baidu.com

不需要日志信息

λ scrapy fetch --nolog http://www.baidu.com

返回响应头

λ scrapy fetch --nolog  --headers http://www.baidu.com

拒绝重定向

λ scrapy fetch --nolog  --no-redirect http://www.baidu.com

5.view 使用浏览器快速查看响应

λ scrapy view http://www.baidu.com

注意：

这里浏览器打开的是 dump 到本地的页面文件，而不是直接去访问网站

6.shell 进入命令行交互模式方便调试

λ scrapy shell http://www.baidu.com

7.parse 格式化显示页面的解析结果

λ scrapy parse  http://quotes.toscrape.com -c parse

8.settings 获取配置信息

λ scrapy settings --get MONGO_URL

localhost

9.runspider 运行爬虫文件启动项目

当然运行前需要进入对应的文件目录

λ scrapy runspider quotes.py

10.查看对应的版本

λ  scrapy version -v

Scrapy      : 1.6.0

lxml        : 4.3.3.0

libxml2      : 2.9.5

cssselect    : 1.0.3

parsel      : 1.5.1

w3lib        : 1.20.0

Twisted      : 19.2.0

Python      : 3.7.2 (tags/v3.7.2:9a3ffc0492, Dec 23 2018, 23:09:28) [MSC v.1916 64 bit (AMD64)]

pyOpenSSL    : 19.0.0 (OpenSSL 1.1.1b  26 Feb 2019)

cryptography : 2.6.1

Platform    : Windows-10-10.0.17763-SP0