软件测试学习 之 Python 判断文件编码类型

使用python模块chardet

python判断文件和字符串编码类型可以使用第三方模块—chardet
可以在命令行下通过pip安装

pip install chardet

chardet可以识别大多数的编码类型。

import os
import chardet

file_dir = "file"
fiel_list = os.listdir(file_dir)
for file_name in fiel_list:
    path = os.path.join(file_dir, file_name)
    if os.path.isfile(path):
        with open(path, "rb") as file:
            data = file.read()
            print(file_name, end="\t")
            print('encoding: %s' % chardet.detect(data)["encoding"])

注意事项，读取文件的时候要以二进制方式读取，否则chardet会报错

TypeError: Expected object of type bytes or bytearray, got: <class 'str'>

结果如下：

ascii_file.txt						encoding: ascii
defalt_file.txt						encoding: IBM855
unicode_big-edian_file.txt			encoding: UTF-16
unicode_file.txt					encoding: UTF-16
utf-8_file.txt						encoding: utf-8

显然，使用chardet.detect()进行编码集检测时很多时候并不准确，比如中文过少时会识别成IBM855

>>> import chardet
>>> s = '中国'
>>> c = s.encode('gbk')
>>> chardet.detect(c)
{'encoding': 'IBM855', 'confidence': 0.7679697235616183, 'language': 'Russian'}

有一些情况下它给出了远超实际的可信度，识别为windows-1252

>>> import chardet
>>> chardet.detect('哈'.encode('gb2312'))
{'confidence': 0.73, 'encoding': 'windows-1252'}

博主-GanZiQim 实验后得出结论：
当字节包的长度不够长时，chardet检测的结果是很不可靠的，因为它可能在调用一个不相干的探测器时，该探测器给出了一个超过阈值的可信度，或者两个编码格式刚好有共通的字符，然后就不再往下检测。这么做很容易出现不可靠的检测结果。所以最好不要检测很少量的字节。同时，在检测开篇有大段其他字符的文档时，最好先手动处理掉无关的符号（不一定会发生错误，因为程序根据初次遍历结果对探测器的顺序做了优先级排序，但是保不准会出错），以求最准确的结果。
 

自定义方法检测

附上 博主-浅醉樱花雨 自定义的编码识别代码（感觉有点不可靠，仅供参考）

# 说明：UTF兼容ISO8859-1和ASCII，GB18030兼容GBK，GBK兼容GB2312，GB2312兼容ASCII
CODES = ['UTF-8', 'GB18030', 'BIG5']
# UTF-8 BOM前缀字节
UTF_8_BOM = b'\xef\xbb\xbf'
 
 
def file_encoding(file_path: str):
    """
    获取文件编码类型
    
    :param file_path: 文件路径
    :return: 
    """
    with open(file_path, 'rb') as f:
        return string_encoding(f.read())
 
 
def string_encoding(data: bytes):
    """
    获取字符编码类型
    
    :param data: 字节数据
    :return: 
    """
    # 遍历编码类型
    for code in CODES:
        try:
            data.decode(encoding=code)
            if 'UTF-8' == code and data.startswith(UTF_8_BOM):
                return 'UTF-8-SIG'
            return code
        except UnicodeDecodeError:
            continue
    return 'unknown'

说明：file_encoding方法用于判断文件编码类型，参数为文件路径；string_encoding方法用于判断字符串编码类型，参数为字符串对应的字节数据

使用示例：

import requests
 
import coding
 
# 检测文件编码
print(coding.file_encoding('test1.txt'))
print(coding.file_encoding('test2.txt'))
# 检测字符串编码
print(coding.string_encoding(requests.get('https://www.baidu.com').content))

输出结果：

UTF-8
GB18030
UTF-8

 

---

以上内容参考以下文章整理：
Python判断文件和字符串编码类型
作者：浅醉樱花雨
出处：csdn

python判断文件编码类型
作者：bearcarl
出处：csdn

[Python模块学习]chardet模块识别字节包编码
作者：GanZiQim
出处：csdn

python中unicode和unicodeescape
作者：开飞机的贝塔
出处：博客园