全局命令:
Dos下输入:scrapy -h
scrapy [command] [options] [args]
command:命令,
bench:测试本地硬件性能,测试爬虫运行环境
fench:下载给定的url地址
genspider:在项目下创建爬虫类
runspider:运行爬虫类
settiongs:获取配置信息
shell:临时交互模式,来获取待访问网址信息,输入quit()退出
startproject:创建新的工程
version:查看当前版本号
view:下载网页并用默认浏览器打开
项目命令:
在创建完项目之后,在项目目录下打开Dos,输入scrapy -h,这时候多出来的命令叫项目命令
scrapy genspider 爬虫名 域名:在项目下创建一个爬虫spider类
scrapy runspider 爬虫文件:运行一个爬虫spider类文件
scrapy crawl 爬虫名称:通过名称指定运行爬虫文件
scrapy list :查看当前项目下有多少爬虫
crawl:运行指定爬虫
edit:编辑爬虫等等
初始错误1:
scrapy运行importError:No module named win32api错误
解决办法:pip install pypiwin32