chardet库:识别文件的编码格式

chardet库文档:https://chardet.readthedocs.io/en/latest/usage.html

模块介绍

Chardet:通用字符编码检测器
检测字符集范围:

ASCII,UTF-8,UTF-162种变体),UTF-324种变体)
Big5,GB2312,EUC-TW,HZ-GB-2312,ISO-2022-CN(繁体中文和简体中文)
EUC-JP,SHIFT_JIS,CP932,ISO-2022-JP(日文)
EUC-KR,ISO-2022-KR(韩文)
KOI8-R,MacCyrillic,IBM855,IBM866,ISO-8859-5,windows-1251(西里尔文)
ISO-8859-5,windows-1251(保加利亚语)
ISO-8859-1,windows-1252(西欧语言)
ISO-8859-7,windows-1253(希腊语)
ISO-8859-8,windows-1255(视觉和逻辑希伯来语)
TIS-620(泰国语)d'y

当python程序中某一个数据文件不知道编码时,可使用chardet第三方库来检测,代码如下(path中填对应文件路径即可

import chardet
 
if __name__ == '__main__':
	path='***'
	f=open(path,'rb')
	data=f.read()
	print(chardet.detect(data))
	# {'language': '', 'confidence': 0.73, 'encoding': 'Windows-1252'}

detect函数只需要一个 非unicode字符串参数,返回一个字典。该字典包括判断到的编码格式及判断的置信度。
chardet.detect() 的返回值,为一个字典:

{'language': '', 'confidence': 0.73, 'encoding': 'Windows-1252'}

得到文件的编码方式,可以才采用字典的方式

  codedetect = chardet.detect(data)["encoding"]    #检测得到编码方式
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值