python 读 mysql 汉字的转换

python 读 mysql 汉字的转换

mysql db 采用的字符集是: latin1
python 程序编码采用: utf-8
运行的系统采用的也是 utf-8

现在要把 latin1编码的汉字数据取出来，以 utf-8 展示。

import codecs
#import chardet

# 汉字数据转换
#
def han_ansi2utf8(ustr, CP='latin1'):
    # 数据库中存的是 latin1, 汉字就是ansi字节。python 取出来 ansi字节就变成了 unicode 字符串: ustr

    # 首先要把 ustr 数据依据数据库的编码转为真正的单字节数组: b
    b = ustr.encode(CP)
    # print chardet.detect(b)

    # 由于数据库按 latin1 存放汉字, 而汉字的编码是 gbk, 所以要转为 gbk: han
    han = b.decode('gbk')

    # 再把 gbk 转为 utf-8
    return han.encode('utf-8')

就是说，假设汉字：“我爱你” 3个汉字, 6字节是 [abcdef], mysqldb 按 latin1存放就是 [abcdef]，
而 python 取出来变成 [u’a’, u’b’, u’c’, u’d’, u’e’, u’f’] 这样的6个unicode字符： ustr。

那么把 ustr 转为 utf-8 就可以利用上面的函数: han_ansi2utf8。

b = ustr.encode(CP) 这个就是按其本来存储的编码(CP=latin1) 转为原始形式 [abcdef]；
han = b.decode(‘gbk’) 这句就是需要对 [abcdef] 字节真正编码成汉字码 unicode 字符串 [u’我’, u’爱’, u’你’]。
最后 han.encode(‘utf-8’) 转为 utf-8 字节数组（字符串）。