如何避开403forbiddern使用爬虫request

from urllib import request

url = "https://i.snssdk.com/feoffline/hot_list/template/hot_list/forum_tab.html?activeWidget=1"
header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"
}
req = request.Request(url, headers=header)
res = request.urlopen(url)
print(res.info()) #响应头
print(res.getcode()) #状态码
print(res.geturl()) #网址

# html = res.read()
# html = html.decode("utf-8")
# print(html)

核心方法就是添加一个header可以正常爬取信息。至于这里url指的是要访问的网站。

这里的header是你要替换的地方，具体步骤F12，然后查找User-Agent，按照上面的格式替换掉我写的代码即可，可以看到右下角就有User-Agent=XXX