本文介绍了如何使用Python的Scrapy框架抓取简书热门专题数据，并将其存储到CSV文件中。文章详细讲解了安装Scrapy、解决与Twisted的兼容性问题、爬取内容的选择、创建爬虫项目、定义数据结构、实现数据获取逻辑、设置数据存储方式以及运行爬虫的过程。此外，还提供了Python学习路线和相关软件推荐。
- 安装scrapy
注意事项：scrapy和twisted存在兼容性问题，如果安装twisted版本过高，运行scrapy startproject project_name的时候会提示报错，安装twisted==13.1.0即可。
- 基于Scrapy爬取数据并存入到CSV
3.1. 爬虫目标，获取简书中热门专题的数据信息，站点为https://www.jianshu.com/recommendations/collections，点击"热门"是我们需要爬取的站点，该站点使用了AJAX异步加载技术，通过F12键——Network——XHR，并翻页获取到页面URL地址为https://www.jianshu.com/recommendations/collections?page=2&order_by=hot，通过修改page=后面的数值即可访问多页的数据，如下图：
最低0.47元/天 解锁文章
915
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
