python 检测文件编码是否是utf-8无bom

代码如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#2018/05/31 检测文件是否是utf-8无bom格式的
import sys, codecs


def detectUTF8(file_name):
    state = 0
    line_num = 0
    file_obj = open(file_name)
    all_lines = file_obj.readlines()
    file_obj.close()
    for line in all_lines:
        line_num += 1
        line_len = len(line)
        for index in range(line_len):
            if state == 0:
                if ord(line[index]) & 0x80 == 0x00:  # 上表中的第一种情况
                    state = 0
                elif ord(line[index]) & 0xE0 == 0xC0:  # 上表中的第二种情况
                    state = 1
                elif ord(line[index]) & 0xF0 == 0xE0:  # 第三种
                    state = 2
                elif ord(line[index]) & 0xF8 == 0xF0:  # 第四种
                    state = 3
                else:
                    print "%s isn't a utf8 file,line:\t" % file_name + str(line_num)
                    sys.exit(1)
            else:
                if not ord(line[index]) & 0xC0 == 0x80:
                    print "%s isn't a utf8 file in line:\t" % file_name + str(line_num)
                    sys.exit(1)
                state -= 1
    if existBOM(file_name):
        print "%s isn't a standard utf8 file,include BOM header." % file_name
        sys.exit(1)


def existBOM(file_name):
    file_obj = open(file_name, 'r')
    code = file_obj.read(3)
    file_obj.close()
    if code == codecs.BOM_UTF8:  # 判断是否包含EF BB BF
        return True
    return False

if __name__ == "__main__":
    file_name = 'new 2.txt'
    detectUTF8(file_name)
借鉴了一下其他小伙伴的经验,如有侵权请留言告知。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值