Python处理以BOM开头的UTF-8编码文件

EF BB BF是被称为 Byte order mark (BOM)的文件标记，用来指出这个文件是UTF-8编码。
UTF8的BOM有三个字节，分别是0xef, 0xbb, 0xbf, 因此在写你的文本之前，写入”\xef\xbb\xbf”即可标记文件为UTF-8编码文件。

linux下查找包含BOM头的文件和清除BOM头命令
查找包含BOM头的文件，命令如下：
grep -r -I -l $’^\xEF\xBB\xBF’ ./
这条命令会查找当前目录及子目录下所有包含BOM头的文件，并把文件名在屏幕上输出。
但是，删除BOM头，网上找到的命令大多不能用，比较常见的命令是：
find . -type f -exec sed -i ‘s/\xEF\xBB\xBF//’ {} \;
这个命令会把当前目录及所有子目录下的BOM头删除掉。

python处理前三个字节是否为BOM_UTF8

f = open("2017-5-17-1.txt","r")
lightSen = []

for line in f.readlines():
    if '\xef\xbb\xbf'  in line:
        str1 = line.replace('\xef\xbb\xbf','')#用replace替换掉'\xef\xbb\xbf'
        lightSen.append(int(str1.strip()))#strip()去掉\n
    else:
        lightSen.append(int(line.strip()))


print(lightSen)

f.close