在写爬虫时,用了request获取网页页面源代码,具体代码如下:
import requests
url = 'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=62095104_19_oem_dg&wd=周杰伦'
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.67 Safari/537.36"
}
resp = requests.get(url, headers=headers)
print(resp.text) #拿到页面源代码
但是报错,如下图:
有人说是编码的问题,我试了utf-8,gbk,gb18030等编码都不行。
后来尝试改变标准输出的默认编码,加入这三行代码:
import sys
import io
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')
完美解决问题!