Python判断文件和字符串编码类型

python判断文件和字符串编码类型可以用chardet和cchardet工具包，可以识别大多数的编码类型。使用示例：

import chardet
with open("test.txt", "rb") as f:
    msg = f.read()
    result = chardet.detect(msg)
    print(result['encoding'])

chardet是python内置的，cchardet需要安装（pip install cchardet），cchardet性能更高，两个库用法基本一样。

但是前几天在读取一个Windows记事本保存的txt文件时，GBK却被识别成了KOI8-R，无解。

然后就自己写了个简单的编码识别模块，基本可以识别大部分常用编码，如果有特殊需要，可以自己扩充。代码如下：

coding.py

# 说明：UTF兼容ISO8859-1和ASCII，GB18030兼容GBK，GBK兼容GB2312，GB2312兼容ASCII
CODES = ['UTF-8', 'GB18030', 'BIG5']
# UTF-8 BOM前缀字节
UTF_8_BOM = b'\xef\xbb\xbf'


def file_encoding(file_path: str):
    """
    获取文件编码类型
    
    :param file_path: 文件路径
    :return: 
    """
    with open(file_path, 'rb') as f:
        return string_encoding(f.read())


def string_encoding(data: bytes):
    """
    获取字符编码类型
    
    :param data: 字节数据
    :return: 
    """
    # 遍历编码类型
    for code in CODES:
        try:
            data.decode(encoding=code)
            if 'UTF-8' == code and data.startswith(UTF_8_BOM):
                return 'UTF-8-SIG'
            return code
        except UnicodeDecodeError:
            continue
    return 'unknown'

说明：file_encoding方法用于判断文件编码类型，参数为文件路径；string_encoding方法用于判断字符串编码类型，参数为字符串对应的字节数据

使用示例：

import requests

import coding

# 检测文件编码
print(coding.file_encoding('test1.txt'))
print(coding.file_encoding('test2.txt'))
# 检测字符串编码
print(coding.string_encoding(requests.get('https://www.baidu.com').content))

输出结果：

UTF-8
GB18030
UTF-8