访问频率限制反爬虫

访问频率限制爬虫定义

     访问频率指的是单位时间内客户端发出网络请求得次数，它是描述网络请求频率程度的量。正常用户浏览网页的频率不会像爬虫程序那么高，开发者可以将访问频率过高得客户端视为爬虫程序。

解决办法

一、time.sleep()

     如果我们请求间隔时间变长，就能够保证每次请求得响应状态码都是200。我们可以使用Python代码中得time.sleep()实现请求间隔。

     事实上，爬虫总是希望请求频率越高越好，这样才能在短时间内完成爬虫任务。刚才使用得time.sleep()这种降低请求频率得方法并不是最好得选择。面对根据IP地址实现得访问频率限制反爬虫，我们可以使用多台机器共同爬取。就引出了第二种方式。

二、分布式爬虫

     使用分布式爬虫后，就可以在单位时间内发起更多得请求。这种方式能够有效地应对访问频率限制，但经济成本很高。

三、IP代理池

     除了增加机器外，还可以使用IP切换得方式提高访问频率，加入用一台机器作为代理，轮流使用本机IP和代理IP发起请求，就能够将请求访问频率提高1倍，9个代理就能够将访问频率提升9倍。想要在1台机器上提高访问频率，可以使用多个IP代理。IP代理其实就是维护一个IP池，爬虫程序每次发出请求时都从IP池中取出1个作为代理。

关注不迷路哦