scrapy startproject name # 创建工程
scrapy genspider name www.xxx.com # 创建爬虫应用
scrapy genspider -t crawl name www.xxx.com # 创建爬虫应用,基于全站式
scrapy crawl name # 执行爬虫
Downloader Middlewares # 下载中间件,可设置代理ip,ua等下载扩展
Spider Middlewares # 可定义requestst和拦截篡改response
Item Pipeline # 负责从spider中发过来的item,并进行后期处理:过滤、分析、存储等
scrapy_redis #
scrapy_redis_bloomfilter
scrapy-splash # 可在scrapy中执行js
02-23
“相关推荐”对你有帮助么?
-
非常没帮助
-
没帮助
-
一般
-
有帮助
-
非常有帮助
提交