未能打开文稿“xxx.txt”。文本编码Unicode (UTF-8)不适用。txt文件GB2312编码转换utf-8编码格式方法

本文提供一种使用python将txt文件GB2312编码转换utf-8编码格式的方法。

复制粘贴完整代码直接跳到看第三部分： 3. 解码使用GBK

1. 检查编码格式

import chardet

filename = 'xxx.txt'
with open(filename, 'rb') as f:
    data = f.read()
    print(chardet.detect(data))

输出：

{'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}

可以看到是GB2312的编码格式。

2. 解码

import chardet

filename = 'xxx.txt'
with open(filename, 'rb') as f:
    data = f.read()
    print(chardet.detect(data))
    data.decode('GB2312')

输出：

{'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}
---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
/var/folders/03/grptm_lj5bz9xktpcgsgtc300000gn/T/ipykernel_76601/2651452791.py in <module>
      5     data = f.read()
      6     print(chardet.detect(data))
----> 7     data.decode('GB2312')

UnicodeDecodeError: 'gb2312' codec can't decode byte 0x85 in position 199293: illegal multibyte sequence

可以看到设定gb2312解码报错了，查 相关资料 发现可能是 “处理的字符的确是gb2312，但是其中夹杂的部分特殊字符，是gb2312编码中所没有的。”

GB2312，GBK，GB18030，是兼容的，包含的字符个数：GB2312 < GBK < GB18030

3. 解码使用GBK

import chardet
import codecs

# 原文件名
filename = 'xxx.txt'

# 生成文件名
filename_out = 'xxx_out.txt'

# 输入文件的编码类型
encode_in = 'gbk'
 
# 输出文件的编码类型
encode_out = 'utf-8'

with codecs.open(filename, mode='rb', encoding=encode_in) as fi:
    data = fi.read()
    with open(filename_out, mode='w', encoding=encode_out) as fo:
        fo.write(data)
        fo.close()

生成的xxx_out.txt文件可以使用mac自带的文本编辑器正常打开。完工！～