python判断文件或字符串的编码格式是否为UTF-8

最新推荐文章于 2024-07-26 09:40:54 发布

不愿透露姓名的菜鸟

最新推荐文章于 2024-07-26 09:40:54 发布

阅读量5.5k

点赞数

分类专栏： python学习固件安全

本文链接：https://blog.csdn.net/Homewm/article/details/90521772

版权

本文介绍了如何在Python中判断文件或字符串是否采用UTF-8编码。UTF-8是一种自适应编码，不使用byte数为5、6的情况，主要关注1、2、3、4 byte的情况。通过检查字节序列的特定模式来验证UTF-8编码，例如检查字节首位是否为1。

摘要由CSDN通过智能技术生成

首先了解一下UTF-8编码格式，UTF8算是一种自适应的，长度不定，兼容ASCII编码。

byte数为5、6的都不使用了，讨论前面的byte数为1、2、3、4的四种情况。

def detectUTF8(file_name):
    state = 0
    line_num = 0
    file_obj = open(file_name)
    all_lines = file_obj.readlines()
    file_obj.close()
    for line in all_lines:
        line_num += 1
        line_len = len(line)
        for index in range(line_len):
            if state == 0:
                if ord(line[index])&0x80 == 0x00:#上表中的第一种情况
                    state = 0
                elif ord(line[index])&0xE0 == 0xC0:#上表中的第二种情况
                    state = 1