Python抓取含中文网页乱码解决

该网站是一个诗词名句网站，网页打开之后是既含中文也含英文，但是爬取结果只能显示英文，中文会出现乱码。

1. 网页本身
   

2. 爬取结果乱码
   

3. 修正后
   

4. 代码

import requests
from bs4 import BeautifulSoup
# 对首页页面进行抓取
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36'
}
url='http://www.shicimingju.com/book/sanguoyanyi.html'
page_text=requests.get(url=url,headers=headers).text.encode('iso-8859-1')
soup=BeautifulSoup(page_text,'lxml')
print(soup)

5. 总结
   起关键性作用的是.encode(‘iso-8859-1’)这一句，出现乱码的原因主要是因为网页编码方式与编辑环境的编码方式不匹配导致，具体各种编码方式可参照这里或者也可能是网页下载时有压缩的原因