Python反爬虫的问题有哪些

***反爬虫***就是用任何技术手段阻止批量获取网站信息的一种方式

一.为什么会被反爬虫
a 网站爬虫浪费网站的流量
b 数据是每家公司的宝贵资源

二. 反爬虫的方式有哪些
a. 不返回网页，如不返回内容和延迟网页返回时间
b. 返回数据非目标网页，如返回错误页、空白页和爬取多页时均返回同一页
c. 增加获取数据的难度，如登录才能查看和登录时设置验证码
1.不返回网页
首先，网站会通过IP访问量反爬虫，其次，网站会通过session访问量反爬虫。此外，网站也会通过User-Agent反爬虫。User-Agent表示浏览器在发送请求时，附带当前浏览器和当前系统环境的参数给服务器。
2.返回非目标网页
就是网站会返回假数据

三.如何‘反反爬虫’
中心思想就是让爬虫程序看起来更像正常用户的浏览行为
1. 修改请求头
最简单的方法需要把请求头改成真正浏览器的格式
2. 修改爬虫的间隔时间
使用time库在爬虫访问之间设置一定的间隔时间。还可以用Python的random库进行随机数设置。
更复杂一点，可以设置每爬取5次数据，休息10秒。
3. 使用代理
代理是一种特殊的网络服务，允许一个网络终端（一般为客户端）通过这个服务与另一个网络终端(一般为服务器)进行非直接的连接。代理就是网络信息的中转站，代理服务器就像一个大的缓冲，这样能够显著提高浏览速度和效率。
也可以维护一个代理IP池，从而让爬虫程序隐藏自己的真实IP。