控制爬虫采集速度——也可以说得如此冠冕堂皇

时间就是一切
有一些防护措施完备的网站可能会阻止你快速地提交表单，或者快速地与网站进行交互。
即使没有这些安全措施，用一个比普通人快很多的速度从一个网站下载大量信息也可能让
自己被网站封杀。
因此，虽然多线程程序可能是一个快速加载页面的好办法——让你在一个线程中处理数据并在另一个线程中加载页面——但是这对编写好的爬虫来说依然是一个恐怖的策略。还是应该尽量保证一次加载页面加载且数据请求最小化。如果条件允许，尽量为每个页面访问增加一点儿时间间隔，即使你要增加一行代码：
time.sleep(3)

time.sleep(100)
虽然网络数据采集经常会为了获取数据而破坏规则和冲破底线，但是合理控制速度是你不应该破坏的规则。这不仅是因为过度消耗别人的服务器资源会让你置身于非法境地，而且你这么做可能会把一个小型网站拖垮甚至下线。拖垮网站是一件不道德的事情：是彻头彻尾的错误。所以请控制你的采集速度.