【Python】一篇文章让你秒懂Scrapy爬虫框架
前言
本文来自嵩天老师《Python网络爬虫与信息提取》课程中关于Scrapy框架的介绍。这是我个人认为对Scrapy框架讲得最为通俗易懂、条理清晰的教程。
Scrapy是一个爬虫框架
爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。
爬虫框架是一个半成品,能够帮助用户实现专业网络爬虫。
“5+2”结构
5是指5个模块:SPIDERS, ENGINE, SCHEDULER, DOWNLOADER, ITEM PIPELIINES
2是指2个中间件:spider middleware(位于spid
原创
2020-06-25 17:24:54 ·
216 阅读 ·
0 评论