在用cx_oracle连接oracle数据库进行导入的时候出现了很奇怪的问题:
oracle服务器NLS_CHARACTERSET为AL32UTF8,要进行导入的文件编码也是utf8,而用cursor.executemany进行导入的时候出现了错误:'gbk' codec can't encode character u'\ue85f' in position 1: illegal multibyte sequence。
有点莫名其妙,从utf8到utf8也会经过字符编码转换?
用bing搜索了一下,发现有人遇到同样的问题:http://www.thecodingforums.com/threads/cx_oracle-and-utf8.354728/。发现是环境变量nls_lang的问题,于是将nls_lang设置为’AMERICAN_AMERICA.AL32UTF8‘,
应该‘SIMPLIFIED CHINESE_CHINA.AL32UTF8’也行,不过没试过。设置之后导入就没问题了。设置方法可以直接改环境变量,也可以通过python来改:os.environ['nls_lang'] = 'AMERICAN_AMERICA.AL32UTF8' 。
另外,如果数据库编码是gbk,而文件字符编码是utf8,由于utf8中的某些字符在gbk中没有,在编码转换的时候也会导致出错。解决办法是手动进行编码转换,如:value = value.decode('UTF-8').encode('GBK', 'replace') 或者value = value.decode('UTF-8').encode('GBK', 'ignore')