他山之石
实践记录
- 前段时间项目在解析网页内容时没有考虑到编码问题,导致数据库和前台显示全都乱码。下面用Demo展示。
#没有考虑到网页编码问题
import requests
page_cont=requests.get('http://today.hit.edu.cn/rss.xml')
print(page_cont.text)
print(page_cont.encoding)
#结果输出为乱码
#ISO-8859-1
分析:正常使用requests的时候,它会自动猜源文件的编码方式,然后转码成Unicode的编码,但是,毕竟是程序,是有可能猜错的,所以如果猜错了,我们就需要手工来指定编码方式。
解决:首先查看网页源编码格式,发现是gb2312方式编码的,然后代码中手动指定编码方式为gb2312即可。
#指定用gb2312解码
import requests
page_cont=requests.get('http://today.hit.edu.cn/rss.xml')
page_cont.encoding='gb2312'
print(page_cont.text)
print(page_cont.encoding)
#结果输出正常
#gb2312