Python爬虫开源项目代码分享，100个

37. 云沃客项目外包网数据爬虫 scrapy

38. 教育部高校名单数据爬虫 scrapy

39. 天津市科技计划项目成果库数据抓取 scrapy

40. 博客园Python相关40W博客抓取 scrapy

Python爬虫开源项目代码（四）：手机抓取相关

---

41. Fiddler+夜神模拟器+雷电模拟器配置手机APP爬虫部分

42. 爬取儿歌多多APP数据-手机APP爬虫部分

43. 百思不得姐APP数据-手机APP爬虫部分

44. Charles的安装与使用-手机APP爬虫部分

45. Charles抓取兔儿故事-下载小猪佩奇故事-手机APP爬虫部分

46. Charles抓取手机收音机-手机APP爬虫部分

47. mitmproxy安装与安卓模拟器的配合使用-手机APP爬虫部分

48. 使用mitmdump抓取手机惠农APP-手机APP爬虫部分

49. Appium安装+操作51JOB_APP（模拟手机操作之一）手机APP爬虫

Python爬虫开源项目代码（五）：爬虫进阶部分

---

50. Python3爬虫爬取VIP视频-Python爬虫6操作

51. Python3爬虫通过m3u8文件下载ts视频-Python爬虫6操作

52. Python3爬虫获取博客园文章定时发送到邮箱

53. Python3爬虫获取三亚天气做旅游参照

54. 博客园等博客网站自动评论器

Python爬虫开源项目代码（六）：验证码识别技术

---

55. python爬虫高级技术之验证码篇

56. python爬虫高级技术之验证码篇2-开放平台OCR技术

57. python爬虫高级技术之验证码篇3-滑动验证码识别技术

58. python爬虫高级技术之验证码篇4-极验证识别技术之一

59. python爬虫高级技术之验证码篇5-极验证识别技术之二

60. python识别验证码，阿里、腾讯、百度、聚合数据等大公司都这么干

Python爬虫开源项目代码（七）：反爬虫技术

---

61. 写个爬虫碰到反爬了，动手破坏它！

62. 30岁了，想找点文献提高自己，还被反爬了，Python搞起，反爬第2篇

63. Python字体反爬之一，没办法，这个必须写，反爬第3篇

64. 反爬教科书级别的网站-汽车之家，字体反爬之二

65. 爬虫与反爬虫的修罗场，点评网站，字体反爬之三

66. 对微博登录好奇嘛，用Python试试

67. Python爬虫摆脱控制台，开始走上台面

68. 一招解决爬虫程序卡死问题

69. 哪些年我们碰到的懒加载

70. 爬虫原理应用到多种场景，Python下载B站视频

71. 续上篇，python爬虫爬取B站视频

Python爬虫开源项目代码（八）：分布式爬虫技术

---

72. 分布式爬虫初步解析-配好环境肝完一半

73. Python分布式爬虫顶级教程

74. Python分布式夯实，夯实，还是**夯实

75. celery分布式爬虫抓取豆瓣那些书

76. 用Celery继续搞定分布式爬虫

Python爬虫开源项目代码（九）：爬虫高级扩展部分

---

77.  增量爬虫不得不说的故事

78. 用Scrapy+BloomFilter再写个增量爬虫

79. Python Portia爬虫框架-在Win7里面配置起来

80. Python 玩转NewSpaper爬虫框架

81. 小众爬虫框架looter，框架作者竟然在官方手册开车

82. 在windows搭建scrapyd跑scrapy爬虫

83. scrapyd配合scrapydweb跑scrapy爬虫，名称有点套娃

84. 通过＜老家伙＞spiderkeeper运行scrapy爬虫

85. 五年Python爬虫工程师，开发常用工具清单大放送

86. Python爬虫框架在多来一个Ruia，解决问题的途径再次增多

87. glidedsky网站爬虫解析，爬虫闯关第一篇

88. Web Scraper 不用一行代码就能学会的爬虫程序

89. 定个小目标，先用Python爬个一亿B站用户

90. 凌晨5点的CSDN自动签到器，用Python爬虫干点闲事

91. 河北单招学校信息爬虫

92. 新浪微博热榜爬虫+邮箱定时发送

93. 获取CSDN周榜所有大佬的收费专栏

94. 微信读书书籍信息爬取

95. 全网通用评论爬虫

96. 寻找最美女主播

97. 双色球预测前置条件

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！