python 检测是否是UTF-8编码

        UTF-8(8-bit Unicode Transformation Format)是一种针对Unicode的可变长度字符编码,又称万国码,由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码Unicode字符。用在网页上可以统一页面显示中文简体繁体及其它语言(如英文,日文,韩文)。    

      由于我们使用正则表达式匹配二进制文件或者其他非格式化文件时,正则表达式的匹配内容就有可能出问题,当我们再试图使用这些信息是,编译器可能就报错,不识别这些文字,这时我们就要识别匹配出来的字符串是不是UTF-8编码。

      简单介绍一下UTF-8编码格式,

后面的byte数5、6的都不使用了,所以我们就讨论前面的byte数为1、2、3、4的四种情况。代码说话

def is_UTF_8(str):
	remain = 0         #剩余byte数
	for x in range(len(str)):
		if remain == 0:
			if (ord(str[x]) & 0x80) == 0x00:
				remain = 0
			elif (ord(str[x]) & 0xE0) == 0xC0:
				remain = 1
			elif (ord(str[x]) & 0xF0) == 0xE0:
				remain = 2
			elif(ord(str[x]) & 0xF8) == 0xF0:
				remain = 3
			else:
				return False
		else:
			if not ((ord(str[x]) & 0xC0) == 0x80):
				return False
			remain = remain - 1
	if remain == 0: 	    #最后如果remain不等于零,可能没有匹配完整
        return True
	else:
		return False

 

  • 3
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python中,可以使用`codecs`模块来修改文本文件的编码UTF-8格式。具体方法如下: ```python import codecs # 打开需要修改编码的文件,并指定原始编码 with codecs.open('file.txt', 'r', '原始编码') as f: content = f.read() # 将内容重新编码UTF-8格式 with codecs.open('file.txt', 'w', 'utf-8') as f: f.write(content) ``` 在这个示例中,我们使用`codecs.open()`函数打开需要修改编码的文件,并指定原始编码。然后,我们读取文件内容,并将其重新编码UTF-8格式。最后,我们使用`codecs.open()`函数以写入模式打开文件,并将重新编码后的内容写入文件中。 需要注意的是,上述代码中的`原始编码`需要替换为实际的原始编码,比如说`gbk`、`utf-16`等。如果不知道原始编码,可以尝试使用`chardet`模块自动检测编码,如下所示: ```python import codecs import chardet # 打开需要修改编码的文件,并自动检测原始编码 with open('file.txt', 'rb') as f: rawdata = f.read() result = chardet.detect(rawdata) encoding = result['encoding'] # 将内容重新编码UTF-8格式 with codecs.open('file.txt', 'w', 'utf-8') as f: f.write(rawdata.decode(encoding).encode('utf-8')) ``` 在这个示例中,我们使用`open()`函数以二进制模式打开文件,并读取文件内容。然后,我们使用`chardet.detect()`函数自动检测原始编码。最后,我们将内容重新编码UTF-8格式,并写入文件中。 需要注意的是,上述代码中的`result['encoding']`可能返回`None`,表示无法确定原始编码。在这种情况下,需要手动指定原始编码

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值