突破单IP频繁反爬虫限制的小技巧

单IP频繁爬取某网站，很容易被网站的反爬虫机制封掉IP，如何突破限制呢，答案是多IP爬虫。通过多IP爬虫，又分为以下几种形式：

1、通过ADSL拨号换IP。每拨一次就会有一个新IP，较好解决IP单一问题。

2、如果是局域网，带路由器的，第一种方法可能不好用。这个时候可以模拟登陆路由器，控制路由器重新拨号，换IP。

3、代理IP，利用购买的或者网上抓取的免费代理IP，实现多IP爬虫，这种形式是最常见的。

4、分布式爬虫。采用多个服务器，多个IP，多个slave爬虫同时运行，由master负责调度。效率较高，属于大型分布式抓取，一般用redis分布式抓取。
文章部分内容源于网络，联系侵删*