python爬虫代码-Python爬虫大小项目集合

今天为大家带来了自己的爬虫代码集，主要是以往学习Python爬虫过程中写过的大小项目，可能不是很全面，但是持续在更新，那我的代码里有什么？

1. Cnblogs - 博客园爬虫

使用Urllib库实现博客园"最新文章"的爬取，可以自行扩展为全站爬虫，但是要注意它的接口。

通过王者荣耀官网的英雄列表接口以及英雄皮肤的下载URL，完成对王者荣耀英雄全皮肤的下载。

3.MaoYan_Top100 - 猫眼TOP100爬虫

（见名知意）爬取猫眼TOP排行榜前100的电影信息。

4.Moments - 朋友圈爬虫

基于自动化测试工具Appium的微信朋友圈爬虫，模拟登录、抓取动态、保存数据。

5.Bilibili - B站爬虫

模拟登录B站并识别滑动验证码。破解滑动验证码的思路主要沿袭崔大破解极验的思路，登录、获取验证码Image对象、打码平台识别、本地转化识别结果、Selenium模拟滑动等。

6.DouYin - 抖音爬虫

基于Mitmdump的抖音短视频爬取，包括视频名称、作者名称、获赞数、转发量等重要信息的获取。

为了照顾简书，完成了简书的模拟登录并识别简书的点触式验证码，破解验证码的思路基本与滑动验证码相同。

8.Selenium_163 - 网易163邮箱爬虫

模拟登录网易163邮箱，并发送SOS邮件。主要是为了对iframe子节点的训练。

9.City_58 - 58房屋信息爬虫

使用Scrapy框架爬取58同城的出租房信息，并包含下级网页数据的爬虫，项目难度较大，可根据能力练习。

模拟登录注册知网，识别知网的普通数字英文混合验证码。别小看这简单的验证码，可是用tesserocr等Python识别库搞不定的。

其他的可以看截图：

我是爬虫小白，代码中如果有写的什么不好的地方，可以提交issue。最后，贴出我的Github仓库地址：https://github.com/Northxw/Python3_WebSpider，欢迎各种star和fork，一起学爬虫。