python中文乱码

今天将网易首页作为demo爬下来

 

1.用python自带的模块 urllib2作为爬去的工具

2.用beautifulSoup作为解析爬去页面的工具

python在书写上确实秒杀java的，几句话就能解析掉整个网页，而且BeautifuSoup能够补全缺失的HTML标签，赞一个。

 

但是，中文乱码的事情还是出现了，我看了下网易用的gb2312的编码集。

 

content = "我是网易GB2312“、

contentUnicode = content.decode("gb2312") #将content这个编码集从gb2312转到了unicode编码集中

contentGBK = contentUnicode.encode("gbk") #将contentUnicode编码集从unicode转到了GBK

 

这个两个方法是从用的，网上也有很多的资料。

我也转过去了，但是遇到的问题

UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 44844-44845: illegal multibyte sequence

搞了一个早上都没有解决掉这个问题。真是痛苦啊。。。，WHY WHY WHY？？？？