使用pandas读取csv文件，列名开头出现\ufeff的处理

最新推荐文章于 2024-06-06 17:13:55 发布
最新推荐文章于 2024-06-06 17:13:55 发布
阅读量1.3k 收藏
点赞数 1
分类专栏： 错题本 文章标签： python pandas 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ICERON/article/details/123008305
版权

有时候用pandas的read_csv 打开文件的时候看不出什么异常，比如下图
在这里插入图片描述
但是一旦使用列名处理数据的时候，就会出现列名错误，但是明明写的没有问题。例如如下所示
在这里插入图片描述
那么这时候就要考虑是否有未显示的格式或者和字符，所以我们打印出列名
在这里插入图片描述
可以看到有\ufeff的字符。通过记事本打开文件，发现文件格式是UTF-8 with BOM。

来源百度百科：
UTF-8：以字节为编码单元，它的字节顺序在所有系统中都是一様的，没有字节序的问题，也因此它实际上并不需要BOM(“ByteOrder Mark”)。但是UTF-8 with BOM即utf-8-sig需要提供BOM
字节顺序标记（英语：byte-order mark，BOM）是位于码点U+FEFF的统一码字符的名称。
UTF-8则没有字节顺

最低0.47元/天 解锁文章
一窗星乱银河静
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
【Python问题解决】利用Python读取文件时出现\ufeff的原因及解决办法
菜鸟的后花园
10-31 1万+
利用Python读取文件时出现\ufeff的原因及解决办法 今天利用Python读取一个csv文件 代码如下： import csv with open('test.csv', 'r', encoding='UTF-8-sig') as csvfile: csv_reader = csv.reader(csvfile) for row in csv_reader: ...
错误：非法字符：“\ufeff”　　Java　python
消极的人永远是对的，积极的人选择勇往直前
12-30 1万+
JAVA IDEA导入开源的项目的时候，非法字符：“\ufeff”，编码问题，这一般这个项目是用eclipse开发的。主要原因是: Eclipse可以自动把UTF-8+BOM文件转为普通的UTF-8文件 解决办法：UTF-8 换成 GBK 然后再换成UTF-8 就好了 方法二： 将这些报错的文件拷贝到一个目录中，然后用notpad++打开，点击工具类上的 编码，将 以uft8格式编码 转为 以utf8无BOM格式编码，然后保存，再覆盖idea中对应的文件。 方法三： 将文件用..
\ufeff 这是个什么
最新发布
keyboard专栏
06-06 298
在你的CSV文件中，可能包含了一个隐藏的字节序标记（Byte Order Mark，BOM），这是一个Unicode字符（\ufeff），通常出现在文件的开头，用于指示文件的编码方式。这个字符在文件中是不可见的，但会影响文件的处理，尤其是在读取文件的头部时。BOM通常出现在UTF-8编码的文件中，具体是\ufeff，这个字符可能会影响列名的读取，导致列名匹配失败。
非法字符\ufeff报错解决
qq_65142821的博客
01-04 1102
在idea右下角将utf-8改为GBK 然后在重新改为utf-8即可。
\uFEFF
qianqian的博客
05-18 488
1、问题 今天在做下载 Excel 文件，解析数据时，遇到一个奇葩问题。 文件格式大致长这样 我们是要解析这个 Excel 文件，然后用 map.get("订单号") 这种方式获取每一列的值，结果后面列都能正常获取，只有第一列获取结果为 null 。 后来控制台打印结果看起来也正常，把打印的结果复制在粘贴到代码里之后发现多了一个 \uFEFF 符号，也就是要用 map.get("\uFEFF订单号") 这种方式才能获取到值。 2、分析原因 经过和提供 Excel 文件的第三方沟通他们的原因：
ES5导出数据生成文档xls或csv (2)
李特成的博客
04-26 409
1.兼容IE浏览器 2.无限制数据导出 console.log(res) jsonArr=[]; if(res.length !=0){ for(var i=0;i<res.length;i++){ var mm=res[i].materialNumber; var mn=res[i...
Excel转CSV格式
Ark方舟
12-10 2110
注意： CSV文件导出来的 可以理解为 就是一个 普通的文件， 但至于使用什么样的软件打开就是另一马事了，比如Excel打开后 出来 “自动过滤了数字前面的0”，这玩意程序控制不到，那是Excel的事情。CSV不是Excel文件切记，只不过用表格软件打开CSV而已 import org.apache.poi.hssf.usermodel.HSSFWorkbook; import org.apache.poi.ss.usermodel.*; import org.apache.poi.xssf.user
使用pandas读取csv文件的指定列方法
09-20
下面小编就为大家分享一篇使用pandas读取csv文件的指定列方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pandas读取csv时如何设置列名
09-16
本篇将详细介绍如何在使用Pandas读取CSV文件时设置列名。 1. **CSV文件自带列标题** 当CSV文件中已经包含列标题时，Pandas默认会将其识别为列名。例如，你可以使用`pd.read_csv()`函数来读取文件，如： ```python...
使用实现pandas读取csv文件指定的前几行
09-20
总之，通过合理使用Pandas的`read_csv`函数和其参数，我们可以有效地处理大型CSV文件，仅读取所需部分数据，从而优化资源利用，提高分析速度。在实际工作中，了解和掌握这些技巧对于数据科学家和分析师来说至关重要...
使用pandas模块读取csv文件和excel表格,并用matplotlib画图的方法
09-20
今天小编就为大家分享一篇使用pandas模块读取csv文件和excel表格,并用matplotlib画图的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python 字符串转列表 list 出现\ufeff的解决方法
12-25
如下所示： #文件内容 lisi lock = open("lock_info.txt", "r+",encoding="utf-8") lock_line = lock.readline() lock_list = lock_line.split(",") print(lock_list) y = lock_line.encode('utf-8').decode('utf-8-sig') print(y) #打印结果如下 ['\ufefflisi'] lisi 以上这篇python 字符串转列表 list 出现\ufeff的解决方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希
\ufeff的解决方法
Major_S的博客
07-08 1897
\ufeff的解决方法 解决方法 str.encode('utf-8').decode('utf-8-sig') 实例 with open("path.txt", "r", encoding="utf-8") as f: # 第一步：打开文件 text = f.readline() # 第二步：读取文件 print(text) print(type(text)) text = text.encode('utf-8').decode('ut
Pandas 和 CSV文件读取导出小纪
python收藏家的博客
07-13 597
Pandas 和 CSV文件读取导出小纪
产生 \ufeff 问题的原因及解决办法
热门推荐
夜空下的凝视
04-28 4万+
今天遇到以下问题： name = [] with open('唐诗宋词.txt', 'r', encoding='utf-8') as f: for i in f: fen = i.split(':') print(fen[0], fen[1]) if fen[0].strip() == '诗名': name.append(fen[1].strip()) print(nam...
C语言读取写入CSV文件 [二]进阶篇——写入CSV文件
永远是萌新的阿岩
02-06 2246
本系列介绍了如何利用C语言读取写入CSV文件，本篇是系列的第二篇，介绍了利用C语言写入CSV文件的进阶内容，包括包裹的概念、特殊符号的处理、如何处理开头和结尾处的空格、分隔符可能存在的问题以及最后介绍了可以使用软件进行配置
python去除\ufeff、\xa0、\u3000
Jarsionge_Chen的博客
03-31 469
\ufeff、\xa0、\u3000的处理
python读写文件出现\ufeff
boyStray的博客
06-16 3262
The Unicode character U+FEFF is the byte order mark, or BOM, and is used to tell the difference between big- and little-endian UTF-16 encoding.BOM —— Byte Order Mark，中文名译作“字节顺序标记”。这样如果接收者收到 FEFF，就表明这个...
Python读取csv文件出现\ufeff
m0_67105022的博客
03-04 366
把 UTF-8 编码 改成 UTF-8-sig编码即可
如何使用pandas读取csv文件
10-31
使用pandas读取csv文件的方法如下： 1.首先需要导入pandas库：import pandas as pd 2.使用read_csv()函数读取csv文件：dataFrame=pd.read_csv('文件路径',encoding='编码方式') 3.其中，文件路径需要根据实际情况...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值