这个博客介绍了21个Python爬虫开源项目，包括中国知网、链家、京东、QQ群、乌云、hao123、去哪儿、携程、QQ空间、百度音乐、淘宝、天猫、股票数据、百度云盘等。项目使用了Scrapy、requests等工具，数据存储在CSV、MongoDB、JSON等格式。博主分享了个人学习和工作经验，提供了全面的Python爬虫学习资源。
7. CnkiSpider – 中国知网爬虫。
设置检索条件后，执行src/CnkiSpider.py抓取数据，抓取数据存储在/data目录下，每个数据文件的第一行为字段名称。
部分代码截图：
8. LianJiaSpider – 链家网爬虫。
爬取北京地区链家历年二手房成交记录。涵盖链家爬虫一文的全部代码，包括链家模拟登录代码。
部分代码截图：
9. scrapy_jingdong – 京东爬虫。
基于scrapy的京东网站爬虫，保存格式为csv。
部分代码截图：
10. QQ-Groups-Spider – QQ 群爬虫。
批量抓取 QQ 群信息，包括群名称、群号、群人数、群主、群简介等内容，最终生成 XLS(X) / CSV 结果文件。
部分代码截图：
最低0.47元/天 解锁文章
扫一扫
1899
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
