关于爬虫伪装身份的操作

最新推荐文章于 2023-10-31 11:31:31 发布

OTF893

最新推荐文章于 2023-10-31 11:31:31 发布

阅读量128

点赞数

文章标签：爬虫

本文链接：https://blog.csdn.net/weixin_62484294/article/details/121218656

版权

from urllib.request import Request,urlopen
from random import choice
url='http://www.baidu.com/'
#设置一个动态的ua 创建一个列表里面存放我们要用到的User-Agent
ua=[
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0',
    'Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50',
]
#设置headers 的User-Agent
headers={
    'User-Agent':choice(ua)
}
#设置请求身份的ua
req=Request(url,headers=headers)
#result用来接收返回的结果 req 访问网页
result=urlopen(req)
print(result.read().decode())