一个语句解决pandas读取数据遇到的编码不符，忽略错行的问题

最新推荐文章于 2024-12-26 21:01:24 发布

小白tree

最新推荐文章于 2024-12-26 21:01:24 发布

阅读量3.9k

点赞数 1

分类专栏： python python数据分析与挖掘

本文链接：https://blog.csdn.net/weixin_43469047/article/details/116784490

版权

python 同时被 2 个专栏收录

65 篇文章

订阅专栏

python数据分析与挖掘

27 篇文章

订阅专栏

这篇博客探讨了在处理CSV文件时遇到的编码问题和数据格式不规范导致的ParserError。通过使用`open`函数的`errors='ignore'`参数忽略部分行的编码错误，然后利用`pd.read_csv`的`error_bad_lines=False`跳过有问题的数据行，可以成功读取文件并了解哪些行被跳过及其原因。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

有时候文件会报错编码问题或者是像下面这样数据不规范导致的问题：
ParserError：Error tokenizing data.C error:Expected 2 fields in line 407,saw 3.

# 先通过open解决部分行有字节编码错误，errors='ignore'
with open('your.csv', encoding='utf-8',errors='ignore') as f:
	# 再解决部分报错行如 ParserError：Error tokenizing data.C error:Expected 2 fields in line 407,saw 3.
    dataset = pd.read_csv(f, error_bad_lines=False,,sep=',')