2024年【Python爬虫教程】基础篇-01爬虫介绍与课程规划(1)

2.程序员副业兼职天花板，轻松省时省力，私活需求多，比什么Java给别人做软件强一百倍，主要麻烦事多。

课程安排

本爬虫系列分为二个阶段，分别是基础篇，进阶篇。

基础篇

1、介绍学习爬虫之前需要了解的基础知识，如 HTTP、爬虫、代理的基本原理、网页基本结构等内容，对爬虫没有任何了解的读者建议好好了解这一章的知识。

2、介绍最基本的爬虫操作，最基本的两个请求库（urllib 和 requests）和正则表达式的基本用法。学会了这一章，就可以掌握最基本的爬虫技术了。

3、介绍页面解析库的基本用法，包括常用的三大解析库 Beautiful Soup、XPath、pyquery 的基本使用方法，它们可以使得信息的提取更加方便、快捷，是爬虫必备利器。

4、介绍 Ajax 数据爬取的过程，一些网页的数据可能是通过 Ajax 请求 API 接口的方式加载的，用常规方法无法爬取，本章介绍了使用 Ajax 进行数据爬取的方法。

5、介绍数据存储的常见形式及存储操作，包括 TXT、JSON、CSV 各种文件的存储，以及关系型数据库 MySQL 和非关系型数据库 MongoDB、Redis 存储的基本存储操作。学会了这些内容，我们可以灵活方便地保存爬取下来的数据。

进阶篇

1、自动化工具：包括 Selenium、Splash 等工具来实现模拟浏览器进行动态渲染页面的数据爬取方法。

2、验证码：包括图形验证码、极验验证码、点触验证码的识别。

3、代理：包括代理的设置，代理池，以及付费代理的使用方法。

4、**模拟登录：**介绍基本的模拟登录方法，包括基于Session + Cookie模拟登录和基于JWT的模拟登录。

5、JS逆向：包括常见的网站混淆技术、JS逆向常用调试方法和Hook技术、JS模拟执行的方案、AST混淆代码还原技术。

6、**App数据爬取：**包括基本的抓包工具（Charles、mitmproxy）使用，以及使用Appium、Airtest模拟手机App进行数据爬取。

7、**App逆向：**包括页面只能解析技术、jadx、JEB逆向工具，Xposed框架，Frida、Pingning问题解决方案、App脱壳。
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！