python读取文件报错 UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xa6 in position 14945

我最近在学langchain，使用Python读取文件时遇到的UnicodeDecodeError错误。这篇文章旨在为遇到类似问题的读者提供解决方案，特别是那些处理包含非ASCII字符或使用不常见编码格式的文件的开发人员。

---

1. 问题描述

UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xa6 in position 14945: illegal multibyte sequence

读取文件遇到UnicodeDecodeError错误。这种错误通常发生在尝试使用错误的编解码器来解码文件内容时，尤其是当文件内容包含了非ASCII字符或者使用了不常见的编码格式。

---

2. 解决办法

2.1 指定正确的编码格式

在使用open()函数打开文件时，可以通过指定encoding参数来指定正确的编码格式。常见的编码格式包括UTF-8、GBK、ISO-8859-1等。

with open('file.txt', 'r', encoding='utf-8') as f:
    content = f.read()

2.2 忽略错误

在读取文件时，可以通过指定errors参数为’ignore’来忽略无法解码的字符，从而避免抛出UnicodeDecodeError错误。

with open('file.txt', 'r', errors='ignore') as f:
    content = f.read()

2.3 使用二进制模式

如果文件包含的是二进制数据而不是文本数据，可以使用二进制模式（‘rb’）打开文件，并在读取时避免解码。例如：

with open('file.txt', 'rb') as f:
    content = f.read()

---

3. 二进制方式读取的优缺点

3.1 优点

1. 适用于处理非文本文件：二进制模式适用于处理图像、音频、视频等非文本文件，因为这些文件不是以文本形式存储的，而是以二进制形式存储的。

2. 不进行编码转换：在二进制模式下，文件内容不会被自动转换为Unicode字符串，这意味着不会发生编码错误，更适合处理特殊字符或非ASCII字符。

3. 更高效：二进制模式下的文件读写操作更加高效，因为不需要进行字符解码和编码的转换，直接操作原始字节数据。

3.2 缺点

1. 不便于阅读和修改：二进制文件不以可读的文本形式呈现，因此不便于直接阅读和修改。这使得调试和维护过程变得更加复杂。

2. 不支持文本处理方法：在二进制模式下，无法直接使用文本处理方法，如readline()、readlines()、write()等，需要手动处理字节数据。

3. 可能造成数据丢失或损坏：在二进制模式下，如果不小心操作字节数据，可能会造成数据丢失或损坏，因为不会对数据进行编码检查和转换。

二进制模式适用于处理非文本文件或需要直接操作字节数据的场景，但在处理文本文件时，还是建议使用文本模式以便于阅读和维护。我读取的是文本，所以没有使用这种方法。

---

推荐我的相关专栏：

• python错误记录
• python笔记