“21天好习惯”第一期- 8 反爬虫机制详解（2）

访问频率限制

在我们访问一些网站的时候，由于网站的访问时间间隔限制，我们无法立即进入下一页，此时，我们需要修改爬虫的访问时间，在访问下一页的时候，修改 read_time，浏览器正常访问的话，这个值一般会大于10，如果我们修改成 60，就可以解除这个限制。

多数情况下，爬虫都会遇到访问频率限制。如果你设置的爬虫访问频率太快了，网站就会识破你的身份。在这种情况下我们需要设置好访问频率频率的阈值，否则有可能被误伤。有时候就算你是真地用手操作页面，但是因为你鼠标点得太快了，它都会提示你: 操作频率太快！

遇到这种网页，最直接的办法是限制访问频率。例如每隔5秒钟访问一次页面。但是如果遇到严格的网站，它检测你的访问时间时，发现你访问了几十个页面，但是每次访问的时间间隔都是5秒钟，一秒不多一秒不少，但人怎么可能做到这么准确的时间间隔？所以被判定为爬虫，被拒绝访问也是理所当然的！所以访问时间间隔你可以设定为一个随机值，例如0到10之间的随机秒数。这样就可以解除网站的限制。、

附上一张刚学时被ban的图：