Scrapy命令行常见错误与常用命令

Scrapy常见错误与命令

常见报错

Scrapy命令行出现 “没有该命令”的错误
原因：可能没有将路径添加到环境变量或者安装了多个版本的python导致版本对不上。
解决方案：cd到你的python文件夹，然后输入命令python -m scrapy。如果不行，可以试试python2 -m scrapy或python3 -m scrapy.

常用命令

scrapy startproject xxx#创建一个名为XXX的项目
scrapy bench#查看机器的性能（每分钟访问多少页）
scrapy list#列出项目中文件
scrapy genspider xxx"blog.csdn.net"#创建spider名为xxx网址为blog.csdn.net的爬虫
scrapy shell url#在浏览器中打开url
scrapy fetch url#对给定url抓取并输出
scrapy view url#浏览器中打开url
scrapy crawl urlspider#执行urlspider.py文件