爬虫进阶段位

一、斗师、python基础语法

万地高楼平地起，对于打好地基我相信大家都知道很重要，首先我们需要先进入武者行列，那我们这个Python的地基要如何打稳打扎实呢？

 

计算机基本操作和组成原理

Python开发环境的搭建

Python变量与数据类型

流程控制语句

函数应用

文件操作

面向对象编程

异常处理

模块和包

二、斗灵 、Python进阶

如果基础的内容已经学习好了，那么恭喜你，已经入门了，可以给自己一点掌声，但是在it大陆也只是属于最底层的武者，那我们需要武装一下自己，给自己买上一些装备，吃饭的家伙，那我们需要哪些装备来武装自己呢？

 

网络编程

并发编程

数据库编程

正则表达式

Linux系统应用

函数的高级应用

Python语法高阶

三、斗王、爬虫基础

当你把斗师内容都掌握之后那你就可以选择自己的功法了（学习方向），学习爬虫其实能去做的东西非常的多，可以用来做网站开发，数据分析，人工智能，爬虫，根据你学习的方向不同学习的内容也不一样，我们这里重点的是介绍爬虫的学习方向

 

数据基本采集规则

数据解析方式

多种数据采集方法

中间人技术

数据展示平台

自动化工具的使用

爬虫对接数据库

四、斗皇、爬虫基础进阶

恭喜你现在已经摸到了强者的门槛，学习完斗王的技能，你对于爬虫这个领域有了最基本的认识，那我们想要继续提升需要学习掌握哪些技能呢？

 

数据采集框架

爬虫项目的部署

分布式爬虫的搭建

反爬虫集中学习（验证码，请求头，信息效验，动态渲染）

多任务采集

消息队列

洪流攻击

五、斗宗、爬虫js逆向技术

斗宗以下皆蝼蚁，迈入到斗宗行列那你就已经触及到爬虫真正核心的东西和技能了，哪怕同样作为一个爬虫工程师薪资差距也是比较大的，前面的技能学习可以帮助你在it大陆找一个5-8k的工作，那爬虫15k以上的薪资需要具备什么呢？

 

js基本语法与执行原理

浏览器指纹和node指纹

JavaScript rpc注入

js信息摘要算法

JavaScript对称加密

JavaScript非对称加密

js hook注入

JavaScript代码混淆

jsDom和webpack

另类加密（瑞数，5秒盾，阿卡迈，sm...等等一些）

学习这一块内容，js是你会比较头疼的点，但是这才是爬虫真正核心的内容，爬虫的解密过程其实是一个比较有意思的环节，不要觉得头疼，去享受解析数据加密的过程

六、斗尊、爬虫app逆向技术

达到斗尊知识那么你已经真正的深处在强者的行列了，it大陆也有你的一席之地，薪资低于23k都已经入不了你的法眼了，那我们如何去掌握强者知识呢？

 

安卓逆向基础篇

安卓系统架构和四大组件

加壳和脱壳

frida逆向

xposed的定制开发

java爬虫

java基础语法

java爬虫采集

在现在很多的平台都是没有web页面的，都是在手机上的app，所以app爬虫是你必须要迈过的坎，对于安卓的基本学习和了解都很重要，学习java爬虫更多的是帮助你去理解app代码，现在app大部分都是由java开发的

七、半圣、爬虫架构搭建与海量数据采集

到达半圣你就有一览纵山小的感悟了，公司的整个框架的设计与项目的研发都得你全权负责，

 

数据采集系统的架构设计和开发

持续分析业务爬虫风控策略

心数据的反爬对抗演练

主流协议破解

核心业务的反爬对抗演练工作，特点：流量大、高频对抗、快速迭代

到这一块你就已经是屹立在it大陆顶尖的存在了，你关心的就不在是某个小功能的实现，更多的是关注市场的技术走向，怎么对技术进行革新了。



八、斗帝、无

斗帝级别

属于自己的.......