- 博客(2)
- 收藏
- 关注
RSS订阅原创 python 爬虫搭建代理库
python 爬虫搭建代理库 最近科研由于需要用到微博签到数据，于是就写了个爬虫程序爬取微博签到位置信息，普通的爬取效率太低， 通过多线程又会被遭到IP的封禁，于是就自己写了个创建代理池的程序。 首先找到一个比较稳定的免费代理ip的网址，我这里推荐两个https://www.kuaidaili.com/free/inha，https://ip.jiangxianli.com。这里我拿第二个举例子。 第一步就是爬取这个网站，把里面的ip地址和端口号以及类型给爬取下来，具体爬取方法这里就不再多说，就是最基本的r
2021-04-12 12:07:14
296
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人