Python爬虫代理IP的使用方法

最新推荐文章于 2024-08-23 16:53:34 发布

xingchen9999

最新推荐文章于 2024-08-23 16:53:34 发布

阅读量1.8k

点赞数 2

本文链接：https://blog.csdn.net/xingchen9999/article/details/105393749

版权

本文介绍了如何从国内高匿名代理IP网站http://www.yousudaili.cn获取代理IP，并通过Python爬虫示例展示了如何使用这些代理IP进行网页抓取。虽然免费代理可能不稳定，但付费代理能提供更可靠的解决方案。

摘要由CSDN通过智能技术生成

做测试前需要先获取一个可用的代理，搜索引擎搜索“代理”关键字，就可以看到很多代理服务网站，会有很多免费代理可以使用，推荐www.yousudaili.cn以下是自动获取代理网站的代理ip

IP地址取自国内髙匿代理IP网站：http://www.yousudaili.cn

仅仅爬取首页IP地址就足够一般使用

from bs4 import BeautifulSoup
import requests
import random

url = ‘http://www.xicidaili.com/nn/’
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36’
}
def get_ip_list(url, headers):
web_data = requests.get(url, headers=headers)
soup = BeautifulSoup(web_data.text, ‘lxml’)
ips = soup.find_all(‘tr’)
ip_list = []
for i in range(1, len(ips)):
ip_info = ips[i]
tds = ip_info.find_all(‘td’)
ip_list.append(tds[1].text + ‘:’ + tds[2].text)
return ip_list

def get_random_ip(ip_list):