UnicodeEncodeError 原理与解决方案

在进行写入转码时报错如下:

UnicodeEncodeError: 'gbk' codec can't encode character '\u2022' in position 106: illegal multibyte sequece

是因为部分编码不支持该种编码格式导致的。常见于特殊字符·这里先讲原理，需要解决方案的直接看后面部分，总结解决方案是通过自带的chardet库自动识别中文的编码并转码。

原理：GB2312 < GBK < GB18030

中文编码的发展历程新增了很多汉字和表情，现在的emoj表情包和特殊符号大多基于GB18030来实现的，因此如果使用旧的编码无法理解新的字符。从而出现报错

GB18030又分为GB18030-2000和GB18030-2005；

GB 2312

6763 个汉字，其中一级汉字 3755 个，二级汉字 3008 个；同时收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的 682 个字符。

• GB 2312 的出现，基本满足了汉字的计算机处理需要，它所收录的汉字已经覆盖中国大陆99.75% 的使用频率。
• 对于人名、古汉语等方面出现的罕用字，GB 2312 不能处理，这导致了后来 GBK 及 GB 18030 汉字字符集的出现。

GBK

21886 个汉字和图形符号，包括：

• GB 2312 中的全部汉字、非汉字符号。
• BIG5 中的全部汉字。
• 与 ISO 10646 相应的国家标准 GB 13000 中的其它 CJK 汉字，以上合计 20902 个汉字。
• 其它汉字、部首、符号，共计 984 个。

GBK 向下与 GB 2312 完全兼容，向上支持 ISO 10646 国际标准，在前者向后者过渡过程中起到的承上启下的作用。

GBK 采用双字节表示，总体编码范围为 8140-FEFE 之间，首字节在 81-FE 之间，尾字节在 40-FE 之间，剔除 XX7F 一条线。GBK 编码区分三部分

GB 18030

汉字70244个， 全称为国家标准 GB 18030-2005《信息技术中文编码字符集》，2005是 GB 18030-2000《信息技术信息交换用汉字编码字符集基本集的扩充》的修订版。

GB 18030 与 GB 2312-1980 和 GBK 兼容，共收录。

• 与 UTF-8 相同，采用多字节编码，每个字可以由 1 个、2 个或 4 个字节组成。
• 编码空间庞大，最多可定义 161 万个字符。
• 支持中国国内少数民族的文字，不需要动用造字区。
• 汉字收录范围包含繁体汉字以及日韩汉字

重现编码错误

这里手动模拟将高版本的字符转换为早期版本不兼容的字符。例如以下例子中，特殊字符•是GBK不支持的字符， 所以在encoding时异常；

#-*-coding:utf-8-*-
import sys,os

#特殊字符加重号。 可以在符号大全中找到。
testStr="阿尔法•法尔阿"
with open("test.txt", "w", encoding="GBK") as fs:
    fs.write(testStr)

特殊字符：

 运行结果如下(报错):

Traceback (most recent call last):
  File "test-code.py", line 6, in <module>
    fs.write(testStr)
UnicodeEncodeError: 'gbk' codec can't encode character '\u2022' in 
position 3: illegal multibyte sequence

如果需要编码正常通过，应更改为以下编码

#-*-coding:utf-8-*-
import sys,os

testStr="阿尔法•法尔阿"
with open("test.txt", "w", encoding="GB18030") as fs:
    fs.write(testStr)

解决方案: 自动识别源编码

通常在读取文件时报错编码异常。 是因为open函数默认使用计算机的编码去读取文本。常见为GBK或者UTF-8。 如需特殊指定编码读取时。需指定encoding参数；

可通过chardet库获取到文件的编码，通过源文件的编码读取不容易出错

import os,chardet
def readfile(_fname, spchar="\r\n"):
    contents = []
    if not os.path.exists(_fname):
        return
    with open(_fname, 'rb') as f:
        data =  f.read()
        #获取被读取文件的编码
        fcode = chardet.detect(data)['encoding']
        #当编码为默认时，读取为None
        fcode = "" if not fcode else fcode
       code = data.decode(fcode)  #fcode不能等于None
       contents = cont.split(spchar)
   return contents 

文本转码写入

open写入时也可通过encoding参数指定编码。 回顾文章开头部分， 低字符集不兼容高字符集的内容。否则会转码异常

def writefile(_nfname, _conts, _encode="GB18030"):
    try:
        Content = "\r\n".join(_conts)
        with open(_nfname, 'w', encoding=_encode) as f:
            f.write(Content)
    except UnicodeEncodeError:
        print("转码失败")
    except Exception as e:
        print("其他异常:%s" % str(e))    

本文应该适用于其他编程语言的类似问题。python有自动识别编码的chardet库，可以比较好的处理"未知"编码的问题。