python3 爬虫如何使用代理IP
前言
众所周知,爬虫速度过快,频繁访问都会被封IP,怎么解决这个问题呢?再去换一台设备?先不说数据是否同步,仅仅换个设备的成本就不低,这个时候就需要代理IP了。以蘑菇(http://www.moguproxy.com/)代理为例,代理IP在python的使用.
正文
蘑菇官网提供两种方式进行代理,
1.私密API代理:请求API接口,直接返回IP与端口
2.HTTP隧道代理:接入固定代理服务器,动态转发请求,无须切换IP,连接上代理服务器后,每一个请求都是一个随机IP,按并发数/转发数计费。
1. 先获取API 链接