【2023年】崔庆才 Python3 网络爬虫学习教程

要学爬虫，首推的就是 Python 语言，简单快速易上手，且 Python 语言的爬虫生态极其丰富。

Python 爬虫技术的基本内容包括网页基础分析、requests 请求、XPath 和正则解析、Ajax 分析、Selenium 模拟浏览器爬取、Scrapy 等知识点，但技术不是一成不变的，随着近几年时代的发展，一些新兴爬虫技术如异步爬虫、JavaScript 逆向、AST 技术、安卓逆向、Hook、智能解析、WebAssembly、大规模分布式、Docker、Kubernetes 等技术不断涌现，而现在网上的爬虫文章也存在着极大问题，一个是内容泛滥不堪、同质化严重，另一个是几乎没有几篇博文能紧跟前沿技术，多数还停留在几年前的水平，而且很多爬虫教程所用案例已经非常老旧而且多数也无法运行，这极大地打击了初学者的自信心。

以下为 Python3 网络爬虫学习教程内容：

爬虫基础入门

1. 什么是爬虫？
2. HTTP 基本原理
3. Web 网页基础
4. Session 和 Cookie
5. urllib 爬虫初体验
6. 方便好用的 requests
7. 强大灵活的正则表达式
8. 基础爬虫案例爬取实战

页面解析和数据存储

9. 网页解析利器 XPath 初体验
10. 新兴网页解析利器 parsel
11. 简易的 TXT 纯文本文件存储
12. 方便灵活的 JSON 文本文件存储
13. 高效实用的 MongoDB 文档存储
14. 关系型数据库 MySQL 存储
15. 当爬虫遇见 RabbitMQ 消息队列
16. 便于高效检索的 Elasticsearch 存储

Ajax 分析和动态渲染页面爬取

17. 什么是 Ajax？
18. Ajax 分析方法
19. Ajax 案例爬取实战
20. 经典动态渲染工具 Selenium 的使用
21. 新兴动态渲染工具 Playwright 的使用

异步爬虫和模拟登录

21. 协程的基本原理
22. aiohttp 的基本使用
23. 模拟登录的基本原理
24. Session + Cookie 模拟登录爬取实战

验证码的处理

25. OCR 识别验证码
26. OpenCV 图像匹配识别滑动验证码缺口
27. 深度学习识别滑动验证码缺口

代理的使用

28. 代理的基本原理
29. 代理的基本使用
30. 高效代理池的维护
31. ADSL 拨号代理的使用

JavaScript 混淆、逆向技术

32. JavaScript 网站加密和混淆技术简介
33. JavaScript 逆向调试技巧

App 爬虫和安卓逆向

页面智能解析

Scrapy 框架和分布式爬虫

爬虫的部署、维护、监控

如果你对Python感兴趣，想要学习python，这里给大家分享一份Python全套学习资料，都是我自己学习时整理的，希望可以帮到你，一起加油！

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

​

1️⃣零基础入门

① 学习路线

对于从来没有接触过Python的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！

2️⃣国内外Python书籍、文档

① 文档和书籍资料

3️⃣Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！

4️⃣Python面试题

我们学会了Python之后，有了技能就可以出去找工作啦！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

上述所有资料 ⚡️ ，朋友们如果有需要的，可以扫描下方👇👇👇二维码免费领取🆓
​