python:正确的对未知编码的字符串进行预处理-Unicode-UTF8-gbk

由于计算机只能识别二进制数据，所以指望程序自动的猜出字符串是如何编码的很难。

而现实中，我们经常得到编码方式未知的字符串，我们总是希望能将这些字符串先统一预转换为unicode编码，在处理以后再根据需要编码到需要的格式

为了判断原始字符串的编码格式，可以采用chardet模块

我编写了下面的一个函数，用以从文件中读取信息，并统一转换为unicode格式返回，同时返回的还有数据的原始编码格式（如’utf-8‘）

    def readFile2UnicodeBuf(filename):

        readstring=None

        oldCodingType=None

        try:

            with open(filename, 'rb') as pf:

                readstring=pf.read()



                if isinstance(readstring, unicode):

                    oldCodingType='unicode'

                else:

                    oldCodingType=chardet.detect(readstring)['encoding']

                    readstring=readstring.decode(oldCodingType)

        except:

            print 'ERROR: read file fail:'+filename

            return None,None

        return readstring,oldCodingType