python利用proxybroker构建爬虫免费IP代理池！不用担心被封了！

大纲

• 前言
• ProxyBroker简介
• ProxyBroker安装
• 在终端使用ProxyBroker
• 在代码中使用ProxyBroker
• 总结

前言

写爬虫的小伙伴可能遇到过这种情况：

正当悠闲地喝着咖啡，满意地看着屏幕上的那一行行如流水般被爬下来的数据时，突然一个Error弹出，提示抓不到数据了...

然后你反复检查，确信自己代码莫得问题之后，发现居然连浏览器也无法正常访问网页了...

难道是网站被我爬瘫痪了？

然后你用手机浏览所爬网站，惊奇地发现居然能访问!

才原来我的IP被网站给封了，拒绝了我的访问

这时只能用IP代理来应对禁IP反爬策略了，但是网上高速稳定的代理IP大多都收费，看了看皱皱的钱包后，一个大胆的想法冒出

我要白嫖！

啥是IP代理？假如你现在17岁未成年，理想一点的情况会是，你去商店买烟，老板告诉你未成年不能买烟，并拒绝了你的购买，这叫被服务器拒绝访问;

但是你不服气啊，于是你找来你20岁的哥哥，叫他去商店老板那帮你买包烟，然后再给你，这就叫IP代理。

ProxyBroker简介

ProxyBroker是一个开源软件，它从各种不同的IP代理网站中抓来公开的代理IP，并实时地检查代理IP的可用性，以供使用。

所以可以说ProxyBroker是一个集成了爬虫技术的开源软件。

ProxyBroker安装

你可以通过pip来安装ProxyBroker

pip install proxybroker

也可以直接从Github下载最新版本的ProxyBroker

pip install -U git+https://github.com/constverum/ProxyBroker.git

在终端使用ProxyBroker

安装成功后，你可以在终端中使用命令proxybroker

pr