前言
最近准备用python爬取豆瓣的数据做一些有趣的东西,刚爬了几个小时,ip就被加入黑名单了,看来豆瓣的反爬虫机制很厉害。要怎么绕过他的反爬机制呢,最好的方法就是随时变化ip。尝试了自己做虚拟ip,效果依然不理想,在网上搜索很多ip代理的文章,发现2808proxy还不错,关键是可以免费使用!但是2808proxy的文档写的不清楚。这里把我使用的过程写下来,需要的朋友可以参考。
获取接口权限
2808proxy的接口都做了权限校验,首先要我们登录2808proxy的官网注册一个账号,注意:注册的时候需要填一个激活码,关注2808proxy微信公众号,就可以领取。然后就可以开始去提取ip了
提取ip
- 获取token
其中USERNAME和PASSWORD就是注册时候填的用户名和密码
返回值:
{