一、scrapy命令
安装完成之后,直接命令行scrapy,就可以看到scrapy的命令参数。
二、startproject与genspider
使用startproject参数,可以创建项目框架。
scrapy strartproject project-name
使用startproject创建项目之后,就可以使用genspider来生成爬虫了。
# 可以使用 -h查看genspider命令的子命令
scrapy genspider -h
# 参数分别是爬虫名字,和域名
scrapy genspider spider-name baidu.com
# 还可以指定-t参数指定使用的模板
scrapy genspider -t crawl spider-name baidu.com
# -l参数能够查看有那些模板
scrapy genspider -l
三、runspider与crawl
crawl是运行项目,runspider是运行文件
# 运行项目参数是spider设置dname
scrapy crawl spider-name
# 运行文件
scrapy runspider scrapy.py
四、shell
shell非常实用,主要用于调试,我们一般爬起一个网页的时候基本都要先分析一下网页的结构。
shell子命令可以不用写代码,直接帮我们构造scrapy中的常用对象,我们可以使用这些对象来执行测试。
scrapy shell https://www.baidu.com/
response.css('li.next a::attr("href")').extract_first()
五、fetch与view
fetch是获取指定连接的内容,view不仅仅获取内容,并且使用浏览器打开。
# 获取html
scrapy fetch https://www.baidu.com/
# 获取html并重定向到指定文件
scrapy fetch https://www.baidu.com/ >> baidu.txt
# 保存为文件并使用浏览器打开
scrapy view https://www.baidu.com/
六、settings
查看配置
scrapy settings --get DOWNLOAD_DELAY
scrapy settings --get BOT_NAME
七、version
查看scrapy版本
scrapy version