爬虫代理的两种来源

请求头

对爬虫有一定实战经验的人都知道，我们往往需要加请求头。那么为什么需要加请求头呢？ 因为搜索引擎其实就是个爬虫，大部分的网页都是允许搜索引擎爬虫来进行爬取的，所以当我们模拟搜索引擎对网页进行爬取的时候就可以在某些场合下爬到数据啦。

更换ip地址

但有时候模拟搜索引擎进行爬取时候也会出问题，我们每一台电脑默认都只有一个唯一的ip地址，如果在同一时段内同一IP地址多次重复对某一网站进行有规律地爬取，这样是很容易被发现进而你的ip被拉入了黑名单。进入黑名单也就意味着你的ip被发现是用于爬虫的，再次使用的话会出现重定向，获取不到数据，获取到假数据的情况，在这样的情况下，我们就需要更换爬虫所用的ip了，下面介绍几种非常好用的更换代理ip的方法。

更换代理ip的方法

1.通过ip代理池获取代理

这里给出一个github网站，你可以直接下载下来，github代理项目，安装需要的库，直接run.py就可以运行并等待爬取将可用代理全部装入代理池redis中
从各大代理网站爬取代理进行测试使用: