常见scrapy命令行总结

1.scrapy startproject xxx建立新的爬虫文件
2.scrapy genspider xxx "www.xxx.com"必须在爬虫文件中建立(最基础的模板)，用crawl建立需要输入scrapy genspider -t crawl xxx “www.xxx.com”
3.scrapy genspider -l 可以列出所有模板
4.scrapy view 网址 可以查看要爬取的网站有没有动态加载的
5.scrapy version 可以查看scrapy版本，scrapy version -v可以查看各个scrapy依赖库版本号
6.scrapy shell 网址 可以进行调试
7.scrapy bench 可以测试爬取速度
8.scrapy crawl xxx -o xxx.json可以保存成各种文件形式有json，jl，csv，xml，pickle，marshal等，还可以保存至本地网络
9.scrapy runspider xxx 可以不再项目内执行直接运行一个爬虫文件