python中常见的反爬措施
1.伪装请求的头信息
绝大多数的网站都会对请求的来源做判断,需要我们在请求的开始加入头信息。
比如:
2.IP封锁
比如,有台机器对网站持续高频繁产生请求,我们就可以对其进行IP封锁;但IP封锁会造成误伤,致使一部分无辜用户被封禁,所以,要慎重。
3.验证码
当用户请求频率过高的时候,有些网站就会触发验证码验证机制,让你输入各种验证码。
常见的比如:访问淘宝的时候再进行多次频繁访问时它就会让我们进行输入验证啊。
4.需要登录才能访问
这个就不得不把 “知乎”给请出来了,知乎就是不登录就不可以访问(好像可以看一部分)
5.JS的图片反爬
在一些比较敏感重要的数据,我们可以把数据生成图片使用JS渲染到浏览器上。
ps:自己的一些粗浅认识。