首先讲一下utf-8和utf-16的区别:UTF-16比较好理解,就是任何字符对应的数字都用两个字节来保存。UTF-8表示可变字符,或一个字节表示一个字符,或是两个,最多不能超过3个字节了。这时候utf-8和utf-16就有各自的适用情况了,对于全是英文或者英文绝大多数的文本可以通过utf-8编码,当文本绝大多数为中文(一个汉字占两个字节),可以使用utf-16,这样又省时又省力,同时提高了可靠性。
用python读取中文text文件时,发生了UnicodeDecodeError,报错内容为:
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte
问题解决如下:
方法1:使用utf-16
编码即可正常读取文件。
当读取文件出现UnicodeDecodeError基本上是文件内容的编码方式,如果不确定使用什么编码读取文件,可以使用notepad查看文件的编码格式,然后在encoding处选择文件的编码格式即可正常读取文件内容。
当改为utf-16后: