python读取数据库的文件出现编码问题的解决办法

一些基本概念：
编码：将人类可识别的字符转换为机器可识别的字节码、字节序列。encode
解码：编码的反向过程。decode
unicode是人类可识别的字符串格式。ASCII、UTF-8、GBK等都是机器可识别的字节编码。

python2的默认编码是ASCII码，因此无法识别中文字符，需要显式指定字符编码。
机器内存中的数据，统一使用UNICODE编码
数据传输或者保存到硬盘上，使用UTF-8编码

In [43]: '美丽人生'.encode('gbk')
Out[43]: b'\xc3\xc0\xc0\xf6\xc8\xcb\xc9\xfa'

In [44]: b'\xc3\xc0\xc0\xf6\xc8\xcb\xc9\xfa'.decode('gbk')
Out[44]: '美丽人生'

数据库：ORACLE
使用cur.execute(sql, param)执行后，获取对应数据时要注意编码格式
定义了fetchall函数，获得的每行数据里的每个数据解码为unicode，然后再提供dict生成dict数据。

def fetchall(cur, encoding='gbk'):
    title = map(lambda x: x[0].lower(), cur.description)
    rows = cur.fetchall()
    rows = map(lambda row:
               dict(zip(title, gbk_to_utf8_row(row, encoding=encoding))), rows)
    return rows

def gbk_to_utf8_row(rows, encoding='gbk'):
    return [gbk_to_utf8(x, encoding=encoding) for x in rows]

def gbk_to_utf8(item, encoding='gbk'):
    if isinstance(item, str):
        return item.decode('utf-8')
    return item