利用pandas读取csv文件时遇到UnicodeDecodeError问题以及解决过程

已于 2024-03-03 22:13:51 修改
阅读量533 收藏
点赞数 5
文章标签： pandas python 开发语言
于 2024-03-03 22:09:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/The_bo/article/details/136439268
版权
在使用pandas读取CSV文件时遇到错误，尝试多种编码设置均无效。问题在于原始CSV文件可能是用ANSI编码保存的。解决方法是将文件转换为xlsx，再另存为UTF-8格式的CSV，从而成功读取数据。
摘要由CSDN通过智能技术生成

在批量提取csv文件中数据时，遇到pd.read_csv这一行疯狂报错:

df = pd.read_csv(os.path.join(current_path, csv_file),error_bad_lines=False,encoding='utf-8')

查了网上很多解决方案，各种改encoding编码格式的，无一幸免，仍旧报错或者就是乱码，用记事本打开可以看到csv格式数据是‘ANSI'编码：

后来发现不管怎么改，都是报错，包括用notepad++改编码格式，仍然是各种报错或者乱码，多次尝试之后我意识到，我当时新建文件时是直接改的后缀，然后打开时就有问题：

于是我就先新建为xlsx，然后另存为UTF-8格式的csv文件，问题就得到了解决：

The_bo
关注
  • 5
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pandas读取中文文件的UnicodeDecodeError编码问题汇总
Emily
08-02 2万+
Outline 批量处理文件 获取文件编码 不能decode bytes … python的异常处理 read_csv中的error_bad_line参数 小感 批量处理文件 为了批量处理文件，当然是想办法获取文件名，通过文件名形成文件路径从而批处理文件。 我以前绕过大弯，根据文件的命名规律，尤其是其中的数字递增规律来创建路径，自从发现os库里的listdir函数才知道自己有多蠢！ ...
使用pandas读取csv文件的指定列方法
09-20
下面小编就为大家分享一篇使用pandas读取csv文件的指定列方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pandas读文件时中UnicodeDecodeError常用解决方案
RuGe_Lee的博客
03-03 2882
如果我们遇到UnicodeDecodeError，一般而言是因为编码错误。所以尝试其他编码是个不错的选择。 但一一尝试速度较慢，我们不妨使用chardet库和pandas读文件的其他机制解决问题。 chardet库可以帮我们检测可能的编码。 import pandas as pd import numpy as np import chardet # look at the first ten thousand bytes to guess the character encoding with
对pandas读取中文unicode的csv和添加行标题的方法详解
12-25
pandas这个库就是这么智能。有了dateframe格式一切都好办了。相比csv库对中文支持就渣了。 reader = pd.read_csv(leg2CsvReadFile, delimiter=”,” ,header=0,encoding = “gbk”) header=None 即指明原始文件数据没有列索引，这样read_csv为自动加上列索引，除非你给定列索引的名字。 obj_2=pd.read_csv('f:/ceshi.csv',header=0,names=range(2,5)) print obj_2 2 3 4 0 0 5 10 1 1 6 11 2 2 7 12 3
C语言以r方式一行一行读数据,对pandas读取中文unicode的csv和添加行标题的方法详解...
weixin_33050117的博客
05-23 704
对pandas读取中文unicode的csv和添加行标题的方法详解pandas这个库就是这么智能。有了dateframe格式一切都好办了。相比csv库对中文支持就渣了。reader = pd.read_csv(leg2CsvReadFile, delimiter="," ,header=0,encoding = "gbk")header=None即指明原始文件数据没有列索引，这样read_csv为...
pd.read_csv无法正常读取csv文件，显示UnicodeDecodeError
nanhaishizhongguode的博客
07-30 5597
在mac的python3环境下，用pd.read_csv读取csv文件时，一直报错 UnicodeDecodeError: 'utf-8' codec can't decode byte 0x82 in position 743: invalid start byte 在终端中 输入以下命令：file  /Users/Downloads/A_Card/application.csv ，得到以...
pandas读取csv文件提示不存在的解决方法及原因分析
09-17
主要介绍了pandas读取csv文件提示不存在的解决方法及原因分析，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
使用pandas模块读取csv文件和excel表格,并用matplotlib画图的方法
09-20
今天小编就为大家分享一篇使用pandas模块读取csv文件和excel表格,并用matplotlib画图的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pandas读取CSV文件时查看修改各列的数据类型格式
09-19
主要介绍了pandas读取CSV文件时查看修改各列的数据类型格式,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
Python Pandas批量读取csv文件到dataframe的方法
09-20
主要介绍了Python Pandas批量读取csv文件到dataframe的方法,需要的朋友可以参考下
解决pandas导入报错：UnicodeDecodeError:‘utf-8‘ code can‘t decode byte 0xb1 in position 0: invalid start by
zzzzzfffftttt的博客
03-11 1610
当用pandas导入数据时报错，这是一种编码错误 原代码 data=pd.read_csv('city.txt') 修正代码 data=pd.read_csv('city.txt',encoding='gbk') 即：编码方式改成 ‘gbk’ ，GBK即汉字内码扩展规范，英文名称为Chinese Internal Code Specification。由国家标准总局发布，是一种汉字编码。 ...
python使用pd.read_csv()，出现错误UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xc8
仰望天空-脚踏实地
02-25 2万+
问题描述： 在使用pd.read_csv()读取表格数据时，有"encoding="参数用来描述表格数据采用的编码方式，比较常用的有utf-8，但有时候还是会报错。示例如下： import pandas as pd file_path = "oracle_log.csv" data = pd.read_csv(file_path, encoding='utf-8') 报错内容为：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in posi
python读取csv文件报错 UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xd5 in position 0: invalid cont
yygr的博客
02-16 4473
第三种（可行）：将csv文件的编码方式改为 utf-8，因为python默认就是读取utf-8.第一种（不行）：显式设置各种编码方式，都不行，包括gbk，ANSI，ISO啥的。第二种（不行）：设置为unicode_escape,不行，会报出另一个错误。最后确定保存，成功。
【pd读取csv文件踩坑】读取csv文件时报错：UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xb5 in position 0
DedicationTechnology
08-06 9396
你是否有过之前用pd.read打开csv文件都正常，但突然有一天运行以前的代码就突然报错：UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xb5 in position 0: invalid start byte，然后再谷歌中搜索答案发现普遍的解决方案就是修改编码方式：类似于encoding="gbk"这类的，然后运行后仍然报错：UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xae in pos
关于pandas读取csv文件时出现UnicodeDecodeError
weixin_51154479的博客
12-11 1451
运行如下代码时报错：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb8 in position 0: invalid start byte；UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 42-43: invalid continuation byte
pandas read_csv 编码错误导致无法读取的问题
wld的博客
07-24 3万+
这是电投的一个比赛，基于大数据的汽轮机瞬态应力分析与预测 首先可以看下原始数据（正确的读取模式）               一般的读取模式 import numpy as np import pandas as pd train_data = pd.read_csv('./data/train.csv', sep=',') train_data.head() 结果是显...
使用pandas读数据表格时遇到UnicodeDecodeError的解决办法
1996MZH的博客
06-23 470
来自stackoverflow https://stackoverflow.com/questions/33819557/unicodedecodeerror-utf-8-codec-while-reading-a-csv-file/33819765 pip install chardet import chardet import pandas as pd with open('filename.csv', 'rb') as f: result = chardet.detect(f.rea
Python对中文字符的处理(utf-8/ gbk/ unicode)
热门推荐
chixujohnny
06-29 17万+
现在在做分词的时候会处理大量有关中文字符的处理，经常输出乱码，老大让我暂时不考虑字符编码，但是为了看着爽不得不研究一下。 分词系统：NLPIR 因为不同的编译环境默认的汉字编码可能不一样，我的环境是OSX10.11 + Pycharm + python2.7 文件第一行永远默认 # coding: utf-8 数据集我用的是“tc-corpus-train”这个是数据，百度一
将Python中unicode模式转换成中文
Carl
05-14 1万+
中文格式即utf8 a = x"中国" x'\xd6\xd0\xb9\xfa' s = a.encode("utf8") print s 中国 new '\xc3\x96\xc3\x90\xc2\xb9\xc3\xba'
pandas中读取csv文件,报UnicodeDecodeError: 'utf-8' codec can't decode byte 0xca in position 3: invalid continuation byte
最新发布
12-28
在pandas中读取csv文件时，如果遇到UnicodeDecodeError: 'utf-8' codec can't decode byte 0xca in position 3: invalid continuation byte错误，可能是因为文件中包含了无法解码的字符。这种情况下，可以尝试指定文件的编码格式来解决这个问题。 你可以使用pandas的read_csv函数，并通过指定encoding参数来指定文件的编码格式。常见的编码格式包括utf-8和gbk。 下面是一个示例代码，演示了如何使用pandas读取csv文件并指定编码格式： ```python import pandas as pd # 读取csv文件并指定编码格式 df = pd.read_csv('file.csv', encoding='utf-8') # 对读取的数据进行处理 # ... # 打印处理后的数据 print(df) ``` 请注意，将上述代码中的'file.csv'替换为你要读取的csv文件的路径。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值