scrapy startproject name # 创建工程
scrapy genspider name www.xxx.com # 创建爬虫应用
scrapy genspider -t crawl name www.xxx.com # 创建爬虫应用,基于全站式
scrapy crawl name # 执行爬虫
Downloader Middlewares # 下载中间件,可设置代理ip,ua等下载扩展
Spider Middlewares # 可定义requestst和拦截篡改response
Item Pipeline # 负责从spider中发过来的item,并进行后期处理:过滤、分析、存储等
scrapy_redis #
scrapy_redis_bloomfilter
scrapy-splash # 可在scrapy中执行js
scrapy笔记
最新推荐文章于 2024-04-23 21:56:25 发布