最近很多粉丝问我,采集数据的时候,过于频繁,ip经常被封怎么搞。
为了让更多的小伙伴免受封ip的困扰,今天咱们就来分享一下Python采集免费可用的ip代理。
效果展示
代码展示
import requests
from lxml import etree
with open('IP代理.txt','w',encoding='utf-8') as f:
for i in range(1,10):
# 发送给谁
url =f'http://www.66ip.cn/{i}.html'
print(f'正在获取{url}')
# 伪装自己
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'
}
# 发送请求
resp = requests.get(url,headers = headers)
# 设置编码 utf-8 gbk
resp.encoding ='gbk'
# 接收响应
# 处理结果
# 创建可以提取数据的对象
e = etree.HTML(resp.text)
# 提取IP
ips = e.xpath('//div[1]/table//tr/td[1]/text()')
# 提取Port
ports = e.xpath('//div[1]/table//tr/td[2]/text()')
# 提取地址
addrs = e.xpath('//div[1]/table//tr/td[3]/text()')
for i,p,a in zip(ips,ports,addrs):
# 保存文本
f.write(f'IP地址:{i}----port端口号:{p}-----地址:{a}\n')
人生苦短,我用Python,兄弟们快去试试吧~
新的一年,我给大家准备了最新的Python新手礼包、资料、电子书、视频教程,直接在文末名片自取就好啦!