Python爬虫高手速成

阿里云大学教你python高手速成

爬虫和反爬虫技术，一直在对抗中不断升级。

一般网站都会采用哪些反爬虫策略呢？无非是下面几种，在此我们也给出应对方案。

反爬策略1：通过UA限制或者其他头信息限制

解决方案：构建用户代理池或其他头信息

反爬策略2：通过访问者IP限制

解决方案：构建IP代理池

反爬策略3：通过验证码限制

解决方案：手工打码、验证码接口自动识别或者通过机器学习自动识别

反爬策略4：通过数据的异步加载限制

解决方案：抓包分析或者使用PhantomJS

反爬策略5：通过Cookie限制

解决方案：进行Cookie处理

反爬策略6：通过JS限制（如请求的数据通过JS随机生成等）

解决方案：分析JS解密或者使用PhantomJS

当然，在使用爬虫时，还是要遵循网站的robots约定，不要对网站造成影响。

Python爬虫技术、反爬虫策略及绕过技巧、分布式爬虫编写，在此推荐学习阿里云大学的这个课程：

1.零基础入门学习Python

本系列教程面向零基础的同学，是一个深入浅出，通俗易懂的Python3视频教程。

前半部分主要讲解Python3的语法特性，后半部分着重讲解Python3在爬虫、Tkinter、Pygame游戏开发等实例上的应用。整个系列共16个章节，前边13个章节从一个小游戏引入Python，逐步介绍Python的语法以及语言特色。最后3个章节为案例的演示，是前边内容的总结和提高。

2.Python网络爬虫快速入门到精通

Python专家为你详细讲解爬虫技术的原理与实战，3大框架详解+6场实战演练+反爬技术+分布式爬虫，讲师在线答疑，全面掌握Python爬虫。

阿里云大学首页：阿里云大学