python脚本判断文件字符集参数的选择

常常在处理文件时，会出现错误如下：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xea in position 626: illegal multibyte sequence

或者其它数据编码出现的报错，比如：

UnicodeDecodeError: 'gb2312' codec can't decode byte 0xea in position 626: illegal multibyte sequence

出现该错误的原因是由于文件中存在无法编译的字节，因为本文写一个python脚本来判断下，对于整个文件的字符集参数选择，是存在部分的不能解码的字节，还是整体都不能解码。

python的标准编码列表地址：链接

# python3
f = open(r"文件路径", "rb")  # 二进制格式读文件
m = 0
s = 0
while True:
    m += 1
    line = f.readline()
    if not line:
        break
    else:
        try:
            line.decode('utf-8')
        except:
            s += 1
            print("第%d行" % (m))
            print(str(line))
print("未能正确编译的行数比例：%.2f"%(s/m))

在编码中选择合适的编码方式来解决这个问题，一般出现较多的情况是GBK和utf-8之间的选择。如果出现错误编码的字节数不重要，对后续处理不影响，可以在decode（）方法中设置第二个参数：

decode('utf-8', errors='ignore')

其中errors的默认是strict。