爬虫的入门库random,伪造随机的请求头，用法-案例篇

最新推荐文章于 2024-08-12 15:00:17 发布

学无止境-程序猿

最新推荐文章于 2024-08-12 15:00:17 发布

阅读量2k

点赞数 2

文章标签：爬虫小白

本文链接：https://blog.csdn.net/programmer_huangtao/article/details/83099776

版权

今天，作为爬虫小白的我，我又被IP了，我就想怎么不被封，因为比较傻，不知道什么叫阀，不知道什么叫请求头，什么叫IP地址，就爬啊，爬啊，结果写了半天的爬虫被封了，我就问了下度娘，她说我是被IP访问异常了，要么手输入验证码，要不然反爬，这些不懂，但是我懂了，一个东西，我的电脑一个东西查半天人家网站不买东西，人家不高兴了，所以封了我，要我换个人去，网上说的，换头，换设备头请求头（相当于身份证的名字名字什么的），换IP（IP地址，相当于身份证的地址），但是怎么知道请求头呢？那我告诉你 “”“”“”“

那个网站？百度一下首页！右下角怎么找的？键盘上F12会不？

看到鼠标位置没？点击一下网络... >>>>

左侧点击百度网址，点击有“”这样标志的，说明这个是个HTML，不要点击图片什么的，然后看右边点击接头，鼠标下拉到最后看到的User-Agent。

怎么换它呢？

from urllib.request import urlopen

from urllib.request import Request
import random
url ='http://www.baidu.com/'

user_agent_list = [
    "Mozilla/5.0(Macintosh;IntelMacOSX10.6;rv:2.0.1)Gecko/20100101Firefox/4.0.1",
    "Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1)",
    "Opera/9.80(WindowsNT6.1;U;en)Presto/2.8.131Version/11.11",
    "Mozilla/5.0(Macintosh;IntelMacOSX10_7_0)AppleWebKit/535.11(KHTML,likeGecko)Chrome/17.0.963.56Safari/535.11",
    "Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1)",
    "Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Trident/4.0;SE2.XMetaSr1.0;SE2.XMetaSr1.0;.NETCLR2.0.50727;SE2.XMetaSr1.0)"
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
    "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]

print(random.choice(user_agent_list))
#打印出随机选取出的伪造请求头
headers={
    #从上面的列表上随机取一个
    "User-Agent":random.choice(user_agent_list)
}
request=Request(url,headers=headers)
#带上请求头（设备头）访问
response =urlopen(url)
info =response.read()
print(info.decode())