在学习网络爬虫时，遇到BeautifulSoup处理不同'gb2312'编码页面时，中文显示乱码的困扰。研究发现，尽管BeautifulSoup内部已进行Unicode解析，但在某些情况下输出仍会乱码。通过分析，发现在特定条件下，如使用正则表达式查找，可能会返回空结果。尝试使用gb18030编码输出中文则正常。最后，通过在初始化BeautifulSoup时，先对content进行decode，解决了乱码问题。
我在学习网络爬虫的过程中遇到一个很奇怪的问题，爬取同一个网站的不同页面（编码方式都为'gb2312'）时，beautifulsoup有时候输出中文是正常的有时候是乱码。
查找资料：http://bbs.chinaunix.net/thread-4084647-1-1.html
上面说：表面上看起来从BeautifulSoup解析后得到的soup，打印出来是乱码，但是实际上其本身已经是，正确的（从原始的GB2312编码）解析（为Unicode）后的了。
之所以乱码，那是因为，打印soup时，调用的是__str__，其默认是UTF-8，所以输出到GBK的cmd中，才显示是乱码。
但实际情况却不是这样：
最低0.47元/天 解锁文章
扫一扫
2747
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
