python 读文本 gbk_Python中读取txt文本出现“ 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte...

UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence

今天练习通过读取英文版的Walden.txt的文本信息，统计文本中的英文单词词频的时候出现了这样的错误提示。

错误的意思是：Unicode的解码（Decode）出现错误了，以gbk编码的方式去解码（该字符串变成Unicode），但是此处通过gbk的方式，却无法解码（can't decode）.''illegal multibyte sequence"的意思是非法的多字节序列，也就是说无法解码了。

出现这样的错误，可能是要处理的字符串本身不是gbk编码，却是以gbk编码去解码。比如，字符串本身是utf-8的，但用gbk去解码，必然出错。

针对以上的这个问题，查阅网上资料，可以按照如下的步骤进行尝试：

（1）在打开文本时候，可以指明打开方式：

file = open(path, encoding='gbk')

（2）如果上一步还不能解决，可能是文本中出现的一些特殊符号超出了gbk的编码范围，可以选择编码范围更广的‘gb18030’，如：

file = open(path, encoding='gb18030'）

（3）如果（2）还不能解决，说明文中出现了连‘gb18030'也无法编码的字符，可以使用‘ignore’属性忽略非法字符，如：

file = open(path, encoding='gb18030', errors='ignore')

或者：

file=open(path).read().decode(‘gb18030’,’ignore’)

通过尝试，基本解决问题，源代码如下：

path = 'E://Python/Walden.txt'

file = open(path,encoding = 'gb18030',errors = 'ignore')

file2 = open('E://Python/Walden2.txt','w')

file2.write(file.read())

file.close()

file2.close()

with open('E://Python/Walden2.txt','r') as text:

words = text.read().split()

print(words)

for word in words:

print('{}-{} times'.format(word,words.count(word)))

结果如图：

虽然已经能够区分各个单词，但还有一定的问题，如大小写重复统计，字符-的统计，还需要进一步改进。

总结：

Python文件读写的几种模式：

r, rb ,w ,wb 那么在读写文件时，有无b标识的主要区别在哪里呢？

1.文件使用方式标识

‘r’: 默认值，表示从文件读取数据。

‘w’: 表示要向文件写入数据，并截断从前的内容

‘a’：表示要向文件写入数据，添加到当前内容尾部

‘r+’ ：表示对文件进行可读写操作（删除以前的所有数据）

‘r+a’：表示对文件可进行读写操作（添加到当前文件尾部）

‘b’：表示要读写二进制数据

2.读文件

进行读文件操作时，直到读到文档结束符（EOF）才算读取到文件最后，Python会认为字节\x1A（26）转换成的字符为文档结束符（EOF），故使用‘r’进行读取二进制文件时，可能会出现文档读取不全的现象。

例如：二进制文件中存在如下从低位向高位排列的数据：7F 32 1A 2F 3D 2C 12 2E 76

如果使用‘r’进行读取，则读到第三个字节，即认为文件结束。

如果使用‘rb’按照二进制位进行读取的，不会将读取的字节转换成字符，从而避免了上面的错误。

解决方案： 二进制文件就用二进制方法读取‘rb’

总结：

使用‘r’的时候，如果碰到‘0x1A’，就视为文件结束，就是EOF。使用‘rb’则不存在这个问题，即：如果你用二进制写入再用文件读出的话，如果其中存在‘0x1A’，就只会读出文件的一部分，使用‘rb’会一直读取文件末尾。

3.写文件

对于字符串x='abc\ndef'，我们可用len(x)得到它的长度为7，\n我们称之为换行符，实际上就是0x0A。当我们用‘w’即文本方式写的时候，在windows平台上会自动将‘0x0A’变成两个字符‘0x0D’,'0x0A',即文件长度实际上变成8。当用‘r’文本方式读取时，又自动的转换成原来的换行符。如果换成‘wb’二进制方式来写的话，则会保持一个字符不变，读取的时候也是原样读取。所以如果用文本方式写入，用二进制方式读取的话，就要考虑这多出的一个字节了。‘0x0D’也称回车符。Linux下不会变，因为Linux只使用‘0x0A’来表示换行。