python 读取文件时出现字符编码格式报错

在文本处理时遇到了一点小问题，记录一下

报错提示：UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xbc in position 2: invalid start byte

文件中出现了utf-8无法正确读取的中文字符，这里可以尝试使用 encoding=‘gbk’ 来读取。

f = open(path, 'r', encoding='gbk')

有时也会出现GBK无法读取某些中文字符的情况，报错‘gbk’ codec can’t decode bytes in position 31023: illegal multibyte sequence。

解决方案一：文件读取时指明参数 errors=‘ignore’，但这种方法往往会造成后面处理时的不可预知的一些小错误，或者处理效果不好。

f = open(path, 'r', encoding='gbk', errors='ignore')

解决方案二：更换其他编码方式，比如gb18030，下面给出几种编码方式的一点说明

utf-8与GBK的区别

区别：GBK主要用于中文编码，包含许多中文字符；

utf8包含全世界所有国家需要用到的字符，通用性强；utf8比较灵活，长度在1-6个字节，GBK的长度为2个字节，和GBK相比，utf8会占用更多的数据库存储空间。

GBK采用双字节表示，全部编码分为三大部分：汉字区、图形符号区、用户自定义区。utf8将Unicode码表分为3部分，分别是0000-007F，0080-07FF，0800-FFFF。

utf8的优势：兼容ASCII，适合网络传输，大多数网页都采用了utf8编码方式。但是很多时候读取中文文本的时候会报错。

常用的中文编码方式：GB2312、GBK、GB18030，其中GB2312收录了7445个字符，GBK还收录了藏文，GB18030包含27000多个汉字和字符。

资料拓展：在标准UTF-8编码中，超出基本多语言范围（BMP-Basic Multilingual Plane）的字符被编码为4字节格式，但是在修正的UTF-8编码中，它们由代理编码表示，然后这些代理编码对在序列中分别重新编码。结果标准UTF-8编码中需要4个字节的字符，在修正后的UTF-8编码中将需要6个字节。