老师总结的“Python爬虫”值得分享

爬取一个网站的基本思路：
1、分析我们需要的数据来自于哪个请求（获得请求的url）
2、在浏览器中向对应的url发起请求
3、分析服务器响应的数据，服务器响应的数据一般分为三种：
A、json串，转换成字典
B、html文件
C、二进制数据（图片、音频、视频等）

反爬： 网站防止爬虫爬取该网站的信息所采取的手段，为什么网站要反爬呢？
爬虫程序模拟浏览器向服务器发起请求，人操作浏览器的时候一般不会特别频繁向服务器发请求，或者即使频繁向服务器发请求频率也不会非常变态（1s发起20次、50次、100次请求），但是爬虫程序却可以
while True:
r = requests.get(url)
如果向服务器发起请求的频率太变态的话，其实是非常占用服务器的资源的（每次请求，服务器都要老老实实的响应你）

网站的一些常用的反爬手段：
1、判断客户端的请求的频率，如果服务器发现某一个IP地址发起请求的频率太高，则认为该IP是个爬虫 应对措施：使用代理池
2、设置客户端请求的次数 应对措施：使用代理池
3、判断User-Agent 应对措施：发送请求的时候将User-Agent的值设置为：Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36，伪装成浏览器
4、判断cookie，需要在发请求的时候携带有用户信息的cookie 需要登录：实现自动登录，使用selenium工具、验证码识别（打码网站、通过图像识别）
5、通过js对数据进行加密 应对措施： 看懂服务器响应的js代码，用python实现同样的功能