如同大家知道的。不同网站有不用的反爬策略,对于网络爬虫的限制也不一样,常见的现象大致可以分为几类:
一、不返回网页,如不返回内容和延迟网页返回时间
不返回网页是比较传统的反爬虫手段,也就是在爬虫发送请求给相应网站地址后,网站返回404页面,表示服务器无法正常提供信息或服务器无法回应;网站也可能长时间不返回数据,这代表对爬虫已经进行了封杀。
二、返回数据非目标网页,如返回错误页、返回空白页和爬取多页时均返回同一页。
除了不返回网页外,还有爬虫返回非目标网页,也就是网站会返回假数据,如返回空白页或爬取多页的时候返回了同一页。当你的爬虫顺利地运行起来,你开开心心地去做其他事情了,结果半个小时之后发现爬取的每一页的结果都是一样的,这就是获取了假的网站。
另外还有返回403页面,是因为服务器拒绝了你的地址请求,可能是你没有使用成功。这时你可重新提取
三、增加获取数据的难度,如登录才可查看和登录时设置验证码
网站也会通过增加获取数据的难度反爬虫,一般登录才可以查看数据,而且会设置验证码。为了限制爬虫,无论你是否是真正的用户,网站都可能会要求你登录并输入验证码才能访问。例如,我们登入一个网站 需要用户在输入图中数字验证码
如需了解更多有意向可+为了解 要舞刘骑旧要思玲玲刘旧