scrapy 的简介
BOT_NAME= '百度'
爬虫所在地
CONCURRENT_REQUESRS = 32
最大请求并发量
ENABLE OR DISABLE middlewares
值越小优先级越高 优先级越高越先执行
bench
fetch
genipider
scrapy 全局命令
scrapy startproject <项目名称>
进入到相应的目录下 打开cmd 输入以上命令 就会创建一个项目
genspider 模板生成scrapy爬虫
scrapy gensprider 爬虫项目的名称 爬取数据的域名
crawl 启动爬虫命令
scrapy crawl <spider
cd进入相应的目录下运行该命令
edit 编辑爬虫命令]
scrapy edit <spider>