访问频率限制
在我们访问一些网站的时候,由于网站的访问时间间隔限制,我们无法立即进入下一页,此时,我们需要修改爬虫的访问时间,在访问下一页的时候,修改 read_time,浏览器正常访问的话,这个值一般会大于10,如果我们修改成 60,就可以解除这个限制。
多数情况下,爬虫都会遇到访问频率限制。如果你设置的爬虫访问频率太快了,网站就会识破你的身份。在这种情况下我们需要设置好访问频率频率的阈值,否则有可能被误伤。有时候就算你是真地用手操作页面,但是因为你鼠标点得太快了,它都会提示你: 操作频率太快!
遇到这种网页,最直接的办法是限制访问频率。例如每隔5秒钟访问一次页面。但是如果遇到严格的网站,它检测你的访问时间时,发现你访问了几十个页面,但是每次访问的时间间隔都是5秒钟,一秒不多一秒不少,但人怎么可能做到这么准确的时间间隔?所以被判定为爬虫,被拒绝访问也是理所当然的!所以访问时间间隔你可以设定为一个随机值,例如0到10之间的随机秒数。这样就可以解除网站的限制。、
附上一张刚学时被ban的图: