python判断文件和字符串编码类型可以用chardet和cchardet工具包,可以识别大多数的编码类型。使用示例:
import chardet
with open("test.txt", "rb") as f:
msg = f.read()
result = chardet.detect(msg)
print(result['encoding'])
chardet是python内置的,cchardet需要安装(pip install cchardet),cchardet性能更高,两个库用法基本一样。
但是前几天在读取一个Windows记事本保存的txt文件时,GBK却被识别成了KOI8-R,无解。
然后就自己写了个简单的编码识别模块,基本可以识别大部分常用编码,如果有特殊需要,可以自己扩充。代码如下:
coding.py
# 说明:UTF兼容ISO8859-1和ASCII,GB18030兼容GBK,GBK兼容GB2312,GB2312兼容ASCII
CODES = ['UTF-8', 'GB18030', 'BIG5']
# UTF-8 BOM前缀字节
UTF_8_BOM = b'\xef\xbb\xbf'
def file_encoding(file_path: str):
"""
获取文件编码类型
:param file_path: 文件路径
:return:
"""
with open(file_path, 'rb') as f:
return string_encoding(f.read())
def string_encoding(data: bytes):
"""
获取字符编码类型
:param data: 字节数据
:return:
"""
# 遍历编码类型
for code in CODES:
try:
data.decode(encoding=code)
if 'UTF-8' == code and data.startswith(UTF_8_BOM):
return 'UTF-8-SIG'
return code
except UnicodeDecodeError:
continue
return 'unknown'
说明:file_encoding方法用于判断文件编码类型,参数为文件路径;string_encoding方法用于判断字符串编码类型,参数为字符串对应的字节数据
使用示例:
import requests
import coding
# 检测文件编码
print(coding.file_encoding('test1.txt'))
print(coding.file_encoding('test2.txt'))
# 检测字符串编码
print(coding.string_encoding(requests.get('https://www.baidu.com').content))
输出结果:
UTF-8
GB18030
UTF-8