创建随机的用户代理(User-Agent)和创建随机的IP代理池(使用不同的IP访问)

最新推荐文章于 2022-05-16 18:31:15 发布

qq_39043100

最新推荐文章于 2022-05-16 18:31:15 发布

阅读量556

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/qq_39043100/article/details/103448288

版权

该博客介绍了如何使用Python创建随机的用户代理(User-Agent)和IP代理池来模拟不同用户访问网站，以避免被目标网站识别。通过`random.choice()`函数从预定义的User-Agent列表中选择一个，然后将其设置为HTTP请求的头部信息。同时，展示了如何建立一个代理服务器地址列表，并随机选择一个IP进行HTTP请求，以此实现每个请求使用不同的IP地址。博主还提供了一个简单的爬虫示例，爬取指定网页的内容并保存到文件中。

摘要由CSDN通过智能技术生成

import urllib.request
import re
import random
head = [‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0’,
‘Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50’,
‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50’
]
def xuan_head(head):
tou = random.choice(head)
print(tou)
url_head = (‘User-Agent’,tou)
openner = urllib.request.build_opener()
openner.addheaders=[url_head]
urllib.request.install_opener(openner)
#安装全局
for i in range(1,6):
xuan_head(head) #设置每页的报头，通过上面函数随机选取一个报头的
url = ‘http://www.lovehhy.net/Default.aspx?LX=NHDZ&PG=’
url = url+str(i)
data = urllib.request.urlopen(url).read().decode(“utf-8”,‘ignore’)
#data = urllib.req