Python中读取txt文本出现UnicodeDecodeError的解决办法

转载自Python中读取txt文本出现“ ‘gbk’ codec can’t decode byte 0xbf in position 2: illegal multibyte sequence”的解决办法

    今天,练习一个通过读取txt文本信息(英文版的Walden.txt),统计文本中的英文单词词频。在读取Walden.txt文本时,出现了“UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence”错误提示。


错误的意思是:Unicode的解码(Decode)出现错误(Error)了,以gbk编码的方式去解码(该字符串变成Unicode),但是此处通过gbk的方式,却无法解码(can’t decode )。“illegal multibyte sequence”意思是非法的多字节序列,即没法(解码)了。

    此种错误,可能是要处理的字符串本身不是gbk编码,但是却以gbk编码去解码 。比如,字符串本身是utf-8的,但是却用gbk去解码utf-8的字符串,所以结果不用说,则必然出错。

    通过查阅资料,有提出在读取文本的时候加入参数‘b’,不会提示错误,通过输出读取的数据显示。

path = 'D://Document And Settings3/lqz/Desktop/Walden.txt'
file = open(path, 'rb')
print(file.read())

数据读取显示,数据读取包含了换行符\n等与文本无关的字符,词频统计是无法进行的,统计的结果也不准确。统计的源代码如下(暂时没区分大小写):

path = 'D://Document And Settings3/lqz/Desktop/Walden.txt'
with open(path, 'rb') as text:
    words = text.read().split()
    print(words)
    for word in words:
        print('{}-{} times'.format(word, words.count(word)))

结果如下:

可以明显地看出,输出的单词完全不对,需要转换思路。先按照gbk格式读取文本,再将其保存为另一个utf-8格式的文本,再通过读取该文件,进行文本的词频统计。

    针对以上的这个问题,查阅网上资料,可以按照如下的步骤进行尝试:

(1)在打开文本时候,可以指明打开方式:

file = open(path, encoding='gbk')

(2)如果上一步还不能解决,可能是文本中出现的一些特殊符号超出了gbk的编码范围,可以选择编码范围更广的‘gb18030’,如:

 file = open(path, encoding='gb18030'

(3)如果上一步还不能解决,说明文中出现了连‘gb18030’也无法编码的字符,可以使用‘ignore’属性忽略非法字符,如:

file = open(path, encoding='gb18030', errors='ignore')

或者

file=open(path).read().decode(‘gb18030’,’ignore’)

通过以上的尝试,基本上解决了以上的问题,源代码如下:

path = 'D://Document And Settings3/lqz/Desktop/Walden.txt'
file = open(path, encoding='gb18030', errors='ignore')
file2 = open('D://Document And Settings3/lqz/Desktop/Walden2.txt', 'w')
file2.write(file.read())
file.close()
file2.close()
with open('D://Document And Settings3/lqz/Desktop/Walden2.txt', 'r') as text:
    words = text.read().split()
    print(words)
    for word in words:
        print('{}-{} times'.format(word, words.count(word)))

效果图显示,已经能够区分各个单词,但是还存在一定的问题,如大小写重复统计,字符-的统计,还需要进一步改进。

    通过查询资料,对Python中文件读取的几种格式,进行总结说明:

1、文件使用方式open()函数的参数说明


'r':默认值,表示从文件读取数据。
'w':表示要向文件写入数据,并截断以前的内容
'a':表示要向文件写入数据,添加到当前内容尾部
'r+':表示对文件进行可读写操作(删除以前的所有数据)
'r+a':表示对文件可进行读写操作(添加到当前文件尾部)
'b':表示要读写二进制数据


2、读文件 进行读文件操作时,直到读到文档结束符(EOF)才算读取到文件最后,Python会认为字节\x1A(26)转换成的字符为文档结束符(EOF),故使用'r'进行读取二进制文件时,可能会出现文档读取不全的现象。如果使用'rb'按照二进制位进行读取的,不会将读取的字节转换成字符,从而避免了这种的错误。使用'r'的时候,如果碰到'0x1A',就视为文件结束,就是EOF。使用'rb'则不存在这个问题,即:如果你用二进制写入再用文件读出的话,如果其中存在'0x1A',就只会读出文件的一部分,使用'rb'会一直读取文件末尾。


3、写文件 对于字符串x='abc\ndef',我们可用len(x)得到它的长度为7,\n我们称之为换行符,实际上是0x0A。当我们用'w'即文本方式写的时候,在windows平台上会自动将'0x0A'变成两个字符'0x0D','0x0A',即文件长度实际上变成8。当用'r'文本方式读取时,又自动的转换成原来的换行符。 如果换成'wb'二进制方式来写的话,则会保持一个字符不变,读取的时候也是原样读取。 所以如果用文本方式写入,用二进制方式读取的话,就要考虑这多出的一个字节了。'0x0D'也称回车符。 Linux下不会变,因为linux只使用'0X0A'来表示换行。

参考网络资料:

1.Python基础--文件读取‘r’和‘rb’的区别

2. UnicodeDecodeError: 'gbk' codec can't decode byte 0xab in position 11126: illegal multibyte sequence

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页