一些基本概念:
编码:将人类可识别的字符转换为机器可识别的字节码、字节序列。encode
解码:编码的反向过程。decode
unicode是人类可识别的字符串格式。ASCII、UTF-8、GBK等都是机器可识别的字节编码。
python2的默认编码是ASCII码,因此无法识别中文字符,需要显式指定字符编码。
机器内存中的数据,统一使用UNICODE编码
数据传输或者保存到硬盘上,使用UTF-8编码
In [43]: '美丽人生'.encode('gbk')
Out[43]: b'\xc3\xc0\xc0\xf6\xc8\xcb\xc9\xfa'
In [44]: b'\xc3\xc0\xc0\xf6\xc8\xcb\xc9\xfa'.decode('gbk')
Out[44]: '美丽人生'
数据库:ORACLE
使用cur.execute(sql, param)执行后,获取对应数据时要注意编码格式
定义了fetchall函数,获得的每行数据里的每个数据解码为unicode,然后再提供dict生成dict数据。
def fetchall(cur, encoding='gbk'):
title = map(lambda x: x[0].lower(), cur.description)
rows = cur.fetchall()
rows = map(lambda row:
dict(zip(title, gbk_to_utf8_row(row, encoding=encoding))), rows)
return rows
def gbk_to_utf8_row(rows, encoding='gbk'):
return [gbk_to_utf8(x, encoding=encoding) for x in rows]
def gbk_to_utf8(item, encoding='gbk'):
if isinstance(item, str):
return item.decode('utf-8')
return item