python爬虫如何使用ip修改工具?

python爬虫如何使用代理IP,作为一名数据采集者,我们都是知道,一个网站要是频繁访问都会被封IP,那要怎么解决这个问题呢?不可能一直频繁的更换设备,不光数据不能同步,这些设备的成本也是无法预计的,所以这个时候就需要代理IP了。代理IP在python的使用.

1.优质API代理:通过api连接获取代理信息,返回的是ip和端口。

2.动态转发隧道代理:接入固定代理服务器,动态转发请求,无须切换IP,连接上代理服务器后,每一个请求都是一个随机IP,按照每秒的请求量进行收费。

1先获取api连接

在后台直接把代理连接拷贝到程序里面

import requests

#生成的API链接

url = 'http://http://ip.16yun.cn:817/myip/pl/111bad2b-7bc5-4903b-82d1-9a700fa132685/?s=gduffcpucm&u=dadada12

resp = requests.get(url=url)

if resp.status_code == 200:

data_json = resp.text

for d in data_json[‘msg’]:

port = d[‘port’]

ip = d[‘ip’]

full_ip = ip + ‘:’ + port

print(full_ip)

程序配置好后直接启动程序就可以获取代理ip,然后把代理ip拼到请求参数里面就可以进行数据采集了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值