（1）Python所有方向的学习路线（新版）
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
最近我才对这些路线做了一下新的更新，知识体系更全面了。
（2）Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
（3）100多个练手项目
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
2.出行类软件通过爬虫抢票
**3.论坛或者微博的舆情监控。**用数据采集技术来监测搜索引擎、新闻门户、论坛、博客、微博、微信、报刊、视频的舆情。说白了就是用这个来实现实时的发现某一行业或地区的热点事件，譬如清博舆情，百度舆情等等。
**4.比价网站的应用。**如今各大电商平台为了活跃用户进行各种秒杀活动，还有优惠券等，同样的一个商品可能在不同网购平台价格不一样，这就催生了返利网，折多多，折xx等。那么这些网站是如何在几分钟之内甚至秒级的时间内知道一件商品在某站有优惠的呢？这就需要一个数据采集系统(爬虫)来实时监控各站的价格浮动，先采商品的价格、型号、配置等，在做处理、分析、反馈。
为什么学习爬虫？
互联网的快速发展，带来了前所未有的便利，同样也带来很多之前没有遇到的新问题。获取信息的成本越来越低，信息的种类和数量越来越多，但是我们处理信息的能力并没有提升，很难从信息中提取自己感兴趣的内容。
而学会爬虫就可以自动高效的获取互联网中我们感兴趣的内容，帮助我们快速搭建属于自己的信息知识库。
如何完成一个轻量级爬虫
这里简要概述为三个步骤：获取数据 - 解析数据 - 存储数据。以下是完成这些步骤所涉及的工具，供大家参考。
**获取数据：**urllib2、Requests、Selenium、aiohttp
**获取数据的工具：**Chrome、Fiddler、MitmProxy、Appium
**解析数据：**Css 选择器、PyQuery、BeautifulSoup、Xpath、Re
**存储数据：**MySQL、MongoDB、Redis
工程化爬虫
工程化爬虫的项目推荐：Scrapy、PySpider
官方文档：https://docs.scrapy.org/en/latest/、http://docs.pyspider.org/en/latest/
Github 地址：https://github.com/scrapy/scrapy、https://github.com/binux/pyspider
反爬虫的措施与应对
1.网页反爬虫—字体反爬
开发者可以使用 @font-face 为网页指定字体，就可以调用自定义的字体文件来渲染网页中的文字，网页中的文字变成相应的编码，这时通过简单的网页采集就无法获取编码后的网页内容。
应对措施：字体反爬相对与其他的反爬，他的难度属于较为初级的阶段，主要是在处理的时候比较麻烦，比较注重防御的网站，往往一个网站有多套不同的字体加密防御体系，比如 135 用 A 方案，246 用 B 方案，这个需要一定的耐心去分析字体的规律并使用 Python 解析字体文件，找出映射规律才可以解决。
推荐工具：fontTools、百度字体编辑器（http://fontstore.baidu.com/static/editor/index.html）
2.网页反爬虫—验证码
验证码是一种区分用户是计算机还是人的公共全自动程序，常见的验证码有：多位英数混合验证码、滑动验证码、点选验证码、旋转验证码等等。
应对措施：项目预算充足的情况下可以对接专业的打码平台，减少 90 % 的工作量；预算不足的情况可以使用华为云 ModelArts，不用写一行代码，就能完成模型的搭建
推荐工具：华为云 ModelArts、CC框架
3.网页反爬虫—JS 加密/混淆
前端的代码都是公开的，那么加密有意义吗？有的，通过去除代码中尽可能多的有意义的信息，比如注释、换行、空格、代码负号、变量重命名、属性重命名（允许的情况下）、无用代码的移除尽可能增加爬虫工程师阅读代码的成本。
应对措施：轻中度混淆或者混淆的代码，可以通过阅读混淆后的代码，梳理加密逻辑后扣取可运行的 Js 代码，使用 Python 库调用完成加密参数的生成；重度混淆使用 AST 语法树还原混淆的代码，去除无意义的垃圾代码，还原清晰的加密逻辑后使用 Python 库调用完成加密参数的生成。
推荐工具：AST、PyExecJS
4.APP 反爬虫
都2020年了，目前通过应用市场下载的 APP还有不加壳的吗？除了加壳防护外，常见的 APP 也应用了单向或双向证书验证，简单的中间人攻击已经无法抓到 APP 的数据包，学习 APP 逆向已经势在必行。
应对措施：APP 逆向需要学习的内容非常多，这里只针对无法抓到 APP 包做简单的总结（推荐工具：Frida、Xposed、IDA、jadx、Charles）：
【单向认证和双向认证】
单向验证的情况是客户端校验证书，校验出错就无法访问
最后
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
