【Pandas处理CSV】Error tokenizing data. C error: Expected 1 fields in line XX, saw XX

最新推荐文章于 2024-09-21 23:20:11 发布
最新推荐文章于 2024-09-21 23:20:11 发布
阅读量3.7k 收藏 6
点赞数
分类专栏： 个人踩坑经验 文章标签： csv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44680262/article/details/106857427
版权

报错原因：CSV的分隔符设置异常。
解决：

pd.read_csv(filepath, delimiter="\t")
# 或
pd.read_csv(filepath, sep="\t")
不停下脚步的乌龟
关注
专栏目录
pandas.errors.ParserError: Error tokenizing data. C error: Expected 16 fields in line 3, saw 2386
LDC，公众号【轻松学编程】
04-11 598
pandas.errors.ParserError: Error tokenizing data. C error: Expected 16 fields in line 3, saw 2386
成功解决pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 48, saw 2
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-16 1万+
成功解决pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 48, saw 2 目录 解决问题 解决思路 解决方法 解决问题 pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 48, saw 2 解决思路 ...
pandas 读csv文件，报错：ParserError：Error tokenizing data.
weixin_42764391的博客
08-15 3235
pandas 读csv文件，报错： ParserError: Error tokenizing data. C error: Buffer overflow caught - possible malformed input file. 解决方法1： 如果使用python及其大文件，可以使用 engine=‘python’ 解决方法2： 原因是pandas用作行终止符的数据中有一些回车符“\ r...
用pandas提取GCF基因组报错问题： Error tokenizing data. C error: Expected 15 fields in line 12, saw 16
最新发布
qq_66692680的博客
09-21 192
首先用空格作为分割也会报错，使用前两列也会报错，不知道为什么报错，于是对数据修修改改，发现表头和下面列的数据不对应，即使用正则表达式的下面数据的列数大于表头（让表头为零也会报错），于是手动给第二行数据（字段大于第一行）设为表头，并且在数据上给其加了两列。见修改数据截图，13.txt。最后正常运行了，但是感觉给原始数据追加处理是一件不太好的事情（虽然可以解决现阶段问题，但是觉得必然通过偶然的形式表现出来，感觉应该是存在一个问题通解的），现在认为是表头不能乱设置，应该和数据保持一致。
pd.read_csv出现Error tokenizing data. C error: Expected 4097 fields in line 408, saw 4098解决方案
大屁孩的博客
07-17 4748
在使用pandas的read_csv方法的时候出现了如下错误： Error tokenizing data. C error: Expected 4097 fields in line 408, saw 4098 错误原因 标记化数据时出错，数据的结构不正确，这个文件一行应该有4097个数据，但在第408行出现了4098个数据。 解决方案 事先处理好数据，让数据的结构统一； 如果不能处理数据...
pd.read_csv,Error tokenizing data. C error: Expected 1 fields in line 2786, saw 2
xavier_muse的博客
09-27 9751
使用data = pd.read_csv(“E:/test/datas/new/11-new.txt”,encoding=“utf-8”，header=None)读取txt文件时候，报错：Error tokenizing data. C error: Expected 1 fields in line 2786, saw 2 原因：因为pd.read.csv默认分隔符是“，”，我的txt文档中某行...
Python 用read_csv读取txt文件出现错误：ParserError: Error tokenizing data. C error: Expected 57 fields in line
Carol_Chen93的博客
12-05 2686
读取txt文件的代码如下： txtData = pd.read_csv(datafile, sep =',', compression = 'gzip', header=None) 出现如下错误： ParserError: Error tokenizing data. C error: Expected 57 fields in line 66, saw 58 目前网上普遍的解决方法都...
解决pandas.ParserError: Error tokenizing data. C error: Expected 12 fields in line 268043, saw 13
发现问题，并解决问题，批判性思维
12-05 2041
如题在使用读取csv数据文件时报错。即在268043行出出现了13列的异常情况，可能是某个字段中数据中有导致读取csv出现13列的异常情况（正常应该是12个字段），因为200万条数据出现3条这种异常情况，那就直接delete掉也不影响模型训练，即在读表时使用跳过这三行： [1] https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html
pycharm读取csv文件出现pandas.errors.ParserError:Error tokenizing data. C error:Expected 2 fields in line
m0_61059796的博客
05-30 954
原因是在读取文件时，该结果是通过自己更改后缀导致的，即使更改了后缀，但是保存类型依旧为xlsx类型，而不是csv类型。如要保存为csv形式需要在xlsx文件另存时选择csv后缀形式。csv文件不能是自己手动更改后缀实现，需要在另存excel文件时选择存为csv形式。
【pd.read_csv出现Error tokenizing data. C error: Expected 2 fields in line 80, saw 3错误】
guoguoguo1233的博客
05-10 401
刚开始出现错误以为是自己文件存储的问题，其实就是read_csv默认的存储方式是以逗号(,)读取。要明确自己的数据源是以什么方式存储的，这样就可以避免这样的错误了，第一次在csdn上记录，希望自己以后再接再厉！例如我的initial_te_la.csv在存储时，是以sep=‘\t‘进行划分的，但是read_csv是以默认逗号(,)进行读取。也就是说，在利用pd.read_csv读取文件时，规定sep形式。要明确自己的csv文件是以什么格式划分的。
解决ParserError: Error tokenizing data. C error: Expected 10 fields in line 13, saw 12
菜鸟IT女
06-21 2826
报错来源 代码如下： import pandas as pd pd.read_csv("data1.txt") 报错如下： 原因及解决方式 这个报错信息的大概含义就是，期待的是10个字段，但是在第13行，出现了12个字段。 而我们需要的是所有的数据，所以就是用python原生的读取文件方式——上下文管理器，并且构造数据为：二维数组，其中每个元素就是单独的一行。 代码如下： # 定义列表data data=[] # 打开data1.txt with open('data1.txt', 'r',enc
python打开表格出现pandas.errors.ParserError: Error tokenizing data. C error:
smile_ai的博客
03-21 2339
csv文件默认的是以逗号为分隔符，但是中文中逗号的使用率很高，所以使用pandas写入csv时可以设置参数分割符号 sep=’\t’ ，即以tab为分隔符写入。 那这样在后面读取csv进行数据处理时，一定记得加上一个参数delimiter： path = r"你的输入路径及文件" data = pd.read_csv(path,delimiter="\t") `` ...
pandas读取文件报错pandas.errors.ParserError: Error tokenizing data.
江西师范大学-20届-吴悠
06-14 2685
错误类型：pandas.errors.ParserError 原因：pandas解析器无法解析line XXX 代码如下： import pandas as pd file = pd.read_csv("userBehavior.csv",encoding="utf-8") print(file.head(n=10)) 解决方法： 忽略这些无法解析的行，设置参数error_bad_lines=F...
Python基础——pandas.errors.ParserError: Error tokenizing data. C error: Expected 2 fields
墨上青锋
03-29 5956
**报错信息;**pandas.errors.ParserError: Error tokenizing data. C error: Expected 2 fields 问题代码： df = pd.read_csv(r'berlin52.tsp', sep=" "，skiprows=6, header=None) city = np.array(df[0][0:len(df)-2]) # 最后一行为EOF，不读入 city_name = city.tolist() print(city_name).
bug：pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string starting at row 143
qq_59629101的博客
02-27 1404
使用Pandas库读取CSV文件报错。
pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string starting at row 56789
S_o_l_o_n的博客
09-12 8403
笔者在用pandas读取csv文件时遇到该报错，根据报错提示，是因为在解析时出现了意外的文件结束符。在具体的报错信息中，会提示第几行触发异常，所以笔者通过查看原始原件的相应的行，发现是该行出现了乱码，并且乱码中有一个双引号；所以实际上，该报错是因为pandas读取csv文件时，会默认把csv文件中两个双引号之间的内容解析为一个string，作为一个字段域读入，并且忽略两个双引号之间的分隔符。所以，在默认方式下，一旦文件中出现了奇数个双引号，那么最后一个引号直到文件结束也没有对应的结束引号形成单...
解决pandas.errors.ParserError....Expected 2 fields in line 2系列问题【python报错】
qq_45803851的博客
04-08 649
报错代码是。
pandas.errors.ParserError: Error tokenizing data. C error: Expected 2 fields
热门推荐
七爷OK
09-01 2万+
问题 使用 python 的 pandas 模块报错。 代码： file_path = os.path.join(self.ROOT, self.file) data = pd.read_csv(file_path) 报错： File "name.py", line 24, in name data = pd.read_csv(file_p...
【error solved】Error tokenizing data. C error: Expected 1 fields in line XX, saw XX
coding回忆录
04-27 5472
报错内容：Error tokenizing data. C error: Expected 1 fields in line XX, saw XX 报错原因：CSV的分隔符设置异常 / 存储的时候格式有问题 解决方法： 方法一 通过csv库进行读取，再遍历，再进行合并保存 （文件不大的情况下可用），太大转置的时候RAM会hang import pandas as pd import csv path = 'file_absolute_path/filename.csv' test = pd.DataFra
pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 34, saw 2
09-19
当你遇到`ParserError: Error tokenizing data. C error: Expected X fields in line Y, saw Z`这样的错误，通常意味着Pandas在尝试读取CSV文件时，发现某一行的数据格式与预期不符。这个错误提示表明，Pandas期望第34行有X个字段，但实际读到的是Z个。 要解决这个问题，你可以采取以下步骤： 1. **检查文件内容**[^1]: 检查第34行的实际数据，确保它确实有X个字段（可能是列名或数值）。如果不是，可能需要调整数据格式或修复数据源。 2. **确认分隔符**: 确认你在读取CSV文件时使用的分隔符（如逗号`,`、制表符`\t`或分号`;`）是否正确。如果使用默认的逗号分隔，检查是否有非标准的分隔符或编码问题。 3. **指定正确的结构**: 如果文件格式复杂，可以尝试设置`delim_whitespace=True`，让Pandas能够识别空格作为分隔符；或者使用`header=None`来指示没有预定义的列头，手动指定列的位置。 4. **编码问题**[^2]: 如果文件包含特殊字符，确保设置了正确的文本编码，比如尝试 `encoding='your_encoding'`，替换为实际的编码方式。 5. **缺失值处理**: 某些情况下，可能某个字段是缺失的或未填写的。在这种情况下，考虑使用`na_values`参数告诉Pandas哪些值应该被视为缺失。 6. **异常处理**: 使用try/except语句来捕获和处理此类异常，防止程序中断。例如： ```python try: df = pd.read_csv('file.csv') except pandas.errors.ParserError as e: print(f"解析错误: {e}") # 可能需要修复数据或修改读取选项再重试 ``` 如果你不确定具体原因，可以先尝试这些常见的解决方案，看看能否解决问题。如果还是无法解决，可能需要查看原始数据或进一步调试代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不停下脚步的乌龟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值