python读取文件时BOM的过滤

AikaChinQ_0

已于 2022-09-06 13:33:56 修改

阅读量1k

点赞数 1

分类专栏： Python 文章标签： python utf-8-sig BOM头

于 2018-08-21 15:56:42 首次发布

本文链接：https://blog.csdn.net/qq_37579266/article/details/81908986

版权

Python 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

参考：https://www.cnblogs.com/chongzi1990/p/8694883.html

原帖：python读取文件时BOM的过滤 - UnknownTarget - 博客园

背景：

学习python制作数据可视化时时，从世界银行（http://data.worldbank.org/indicator/）下载csv文件，读取csv内容时，发现文件头第一行会有乱码问题，经查阅原来是头部有codecs.BOM_UTF8（\xef\xbb\xbf），以下简称BOM，这些内容在csv中看不出来。

经过：

1.不设置格式，直接读取（Windows下应该是gbk编码吧），

import csv

file_name = 'API_MS.MIL.TOTL.P1_DS2_en_csv_v2.csv'
with open(file_name) as f:
    reader = csv.reader(f)
    head_row = next(reader)
    print(head_row)

开头出现乱码，结果如下：

['锘緿ata Source', 'World Development Indicators', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '']

2.设置utf-8格式读取：

import csv

file_name = 'API_MS.MIL.TOTL.P1_DS2_en_csv_v2.csv'
with open(file_name, encoding='utf-8') as f:
    reader = csv.reader(f)
    head_row = next(reader)
    print(head_row)

开头‘乱码’变为\ufeff，显示如下：

['\ufeffData Source', 'World Development Indicators', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '']

解决：

翻到一篇帖子（https://www.cnblogs.com/chongzi1990/p/8694883.html），只要把utf-8编码改成utf-8-sig即可，具体原因这篇帖子里有写到。

import csv

file_name = 'API_MS.MIL.TOTL.P1_DS2_en_csv_v2.csv'
with open(file_name, encoding='utf-8-sig') as f:
    reader = csv.reader(f)
    head_row = next(reader)
    print(head_row)

显示正常，得到了想要的内容：

['Data Source', 'World Development Indicators', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '']

*期间尝试过其他方式，比如先读取csv内容，将头行存入新文件，再以‘rb'二进制方式读取，判断如果有BOM，则剔除掉，。。。很麻烦，还是直接指定utf-8-sig方法最简单。