python编码问题

今天遇到一个很奇葩的编码问题。

我用urllib2获取网页内容document，然后

content_ecd = chardet.detect(document)['encoding']

后面利用得到的编码解码该网页内容：

e.decode(content_ecd).encode('utf-8')

大部分的内容都是对的，只有一个字符无法解码。这段字符在下来字符串中

'申万菱信基金-光大银行-陕西省国际信托-陕国投﹒创增1号定向投资集合资金信托计划'

其中'﹒'解码会出错。

很纳闷，看了下编码，是

'\xc9\xea\xcd\xf2\xc1\xe2\xd0\xc5\xbb\xf9\xbd\xf0-\xb9\xe2\xb4\xf3\xd2\xf8\xd0\xd0-\xc9\xc2\xce\xf7\xca\xa1\xb9\xfa\xbc\xca\xd0\xc5\xcd\xd0-\xc9\xc2\xb9\xfa\xcd\xb6\xa9q\xb4\xb4\xd4\xf61\xba\xc5\xb6\xa8\xcf\xf2\xcd\xb6\xd7\xca\xbc\xaf\xba\xcf\xd7\xca\xbd\xf0\xd0\xc5\xcd\xd0\xbc\xc6\xbb\xae'

'﹒'的编码为\xa9q

chardet该字符串出来的编码是gb2312,而且是0.99置信度

但是解码解不了这个。我查了下gb2312的'﹒'编码，和\xa9q没有关系。

于是就尝试了下'申万菱信基金-光大银行-陕西省国际信托-陕国投﹒创增1号定向投资集合资金信托计划'的GBK编码，发现就是上面看到的那串编码。

gbk兼容gb2312，是gb2312的扩展。可能chardet没有检测出来是GBK的'﹒'吧。郁闷。

另外，chardet检测出来的字符串需要足够大才能有很高的置信度，不然一个字符的检测可能会置信度不高，出现错误。