《五分钟速学技巧_利用ip代理绕过ip访问限制防爬策略》

0x00序言

批量获取代理IP详见上篇文章《分享项目_python爬取可用代理ip》，在大量爬取某个指定网站时，若该网站做了限制单位时间内同个ip的访问次数，则需要利用代理ip来帮助我们的爬虫项目完成请求。获取免费的代理IP很简单，百度免费代理IP即可，本文中在点击打开链接获取代理IP

0x01关键代码实现机理

首先获取足够的代理IP池，这在上篇文章中分享的项目可以快速搭建一个爬取代理IP池。

拿到足够的IP之后，我们即可用urllib库的request方法中的，ProxyHandler方法，build_opener方法，install_opener方法，这三个方法可以看做是使用代理IP的一个套路

截取官方文档的部分关键文档

class urllib.request. ProxyHandler ( proxies=None