爬虫设置随机访问时间间隔

设置访问时间间隔

很多网站的反爬虫机制都设置了访问间隔时间，一个IP如果短时间内超过了指定的次数就会进入“冷却CD”，所以除了轮换IP和user_agent 
可以设置访问的时间间间隔长一点，比如每抓取一个页面休眠一个随机时间：

import time
import random
time.sleep(random.random()*3)

对于一个crawler来说，这是一个比较responsible的做法。 
因为本来爬虫就可能会给对方网站造成访问的负载压力，所以这种防范既可以从一定程度上防止被封，还可以降低对方的访问压力。