当爬虫遇到了403,有可能的原因主要有:
1. 你的User-Agent暴露了你,解决方案,增加header
import requests
import cfscrape
from urllib import request
from urllib import parse
from http.cookiejar import CookieJar
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36"
}
target_url = "www.baidu.com"
resp = requests.get(target_url, headers=headers)
print(resp)
print(resp.status_code)
print(resp.text)
关于如何获取user-agent:
1. 自动获取:使用现成的库,https://github.com/hellysmile/fake-useragent
2.手动获取:打开你需要爬虫的网页,右键 检查, 刷新网页,network下随便点一个,在request headers中获取