import requests
url = "https://www.baidu.com/"
header = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'}
ret = requests.get(url, headers=header)
code = ret.apparent_encoding # 获取url对应的编码格式
ret.encoding = code
html = ret.text
print('该页面返回的编码格式{}'.format(code))
以上是示例代码:
可以在不知道网页返回的数据编码的情况下正确的解析网页的数据