Python中读取txt文本出现“ 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence”的解决办法

    今天，练习一个通过读取txt文本信息（英文版的Walden.txt），统计文本中的英文单词词频。在读取Walden.txt文本时，出现了“UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence”错误提示。

错误的意思是：Unicode的解码（Decode）出现错误（Error）了，以gbk编码的方式去解码（该字符串变成Unicode），但是此处通过gbk的方式，却无法解码（can’t decode ）。“illegal multibyte sequence”意思是非法的多字节序列，即没法（解码）了。

    此种错误，可能是要处理的字符串本身不是gbk编码，但是却以gbk编码去解码 。比如，字符串本身是utf-8的，但是却用gbk去解码utf-8的字符串，所以结果不用说，则必然出错。

    通过查阅资料，有提出在读取文本的时候加入参数‘b’,不会提示错误，通过输出读取的数据显示。

path = 'D://Document And Settings3/lqz/Desktop/Walden.txt'
file = open(path, 'rb')
print(file.read())

数据读取显示，数据读取包含了换行符\n等与文本无关的字符，词频统计是无法进行的，统计的结果也不准确。统计的源代码如下（暂时没区分大小写）：

path = 'D://Document And Settings3/lqz/Desktop/Walden.txt'
with open(path, 'rb') as text:
    words = text.read().split()
    print(words)
    for word in words:
        print('{}-{} times'.format(word, words.count(word)))

结果如下：

可以明显地看出，输出的单词完全不对，需要转换思路。先按照gbk格式读取文本，再将其保存为另一个utf-8格式的文本，再通过读取该文件，进行文本的词频统计。

    针对以上的这个问题，查阅网上资料，可以按照如下的步骤进行尝试：

（1）在打开文本时候，可以指明打开方式：

file = open(path, encoding='gbk')

（2）如果上一步还不能解决，可能是文本中出现的一些特殊符号超出了gbk的编码范围，可以选择编码范围更广的‘gb18030’，如：

 file = open(path, encoding='gb18030'）

（3） 如果上一步还不能解决，说明文中出现了连‘gb18030’也无法编码的字符，可以使用‘ignore’属性忽略非法字符，如：

file = open(path, encoding='gb18030', errors='ignore')

或者

file=open(path).read().decode(‘gb18030’,’ignore’)

    通过以上的尝试，基本上解决了以上的问题，源代码如下：

path = 'D://Document And Settings3/lqz/Desktop/Walden.txt'
file = open(path, encoding='gb18030', errors='ignore')
file2 = open('D://Document And Settings3/lqz/Desktop/Walden2.txt', 'w')
file2.write(file.read())
file.close()
file2.close()
with open('D://Document And Settings3/lqz/Desktop/Walden2.txt', 'r') as text:
    words = text.read().split()
    print(words)
    for word in words:
        print('{}-{} times'.format(word, words.count(word)))

效果图显示，已经能够区分各个单词，但是还存在一定的问题，如大小写重复统计，字符-的统计，还需要进一步改进。

    通过查询资料，对Python中文件读取的几种格式，进行总结说明：

1、文件使用方式open（）函数的参数说明

'r':默认值，表示从文件读取数据。
'w':表示要向文件写入数据，并截断以前的内容
'a':表示要向文件写入数据，添加到当前内容尾部
'r+':表示对文件进行可读写操作（删除以前的所有数据）
'r+a'：表示对文件可进行读写操作（添加到当前文件尾部）
'b':表示要读写二进制数据

2、读文件 进行读文件操作时，直到读到文档结束符（EOF）才算读取到文件最后，Python会认为字节\x1A(26)转换成的字符为文档结束符（EOF），故使用'r'进行读取二进制文件时，可能会出现文档读取不全的现象。如果使用'rb'按照二进制位进行读取的，不会将读取的字节转换成字符，从而避免了这种的错误。使用'r'的时候，如果碰到'0x1A'，就视为文件结束，就是EOF。使用'rb'则不存在这个问题，即：如果你用二进制写入再用文件读出的话，如果其中存在'0x1A'，就只会读出文件的一部分，使用'rb'会一直读取文件末尾。

3、写文件 对于字符串x='abc\ndef',我们可用len(x)得到它的长度为7，\n我们称之为换行符，实际上是0x0A。当我们用'w'即文本方式写的时候，在windows平台上会自动将'0x0A'变成两个字符'0x0D','0x0A'，即文件长度实际上变成8。当用'r'文本方式读取时，又自动的转换成原来的换行符。 如果换成'wb'二进制方式来写的话，则会保持一个字符不变，读取的时候也是原样读取。 所以如果用文本方式写入，用二进制方式读取的话，就要考虑这多出的一个字节了。'0x0D'也称回车符。 Linux下不会变，因为linux只使用'0X0A'来表示换行。

参考网络资料：

1.Python基础--文件读取‘r’和‘rb’的区别

2. UnicodeDecodeError: 'gbk' codec can't decode byte 0xab in position 11126: illegal multibyte sequence