Python读取数据编码排错

最新推荐文章于 2024-03-21 22:43:03 发布
最新推荐文章于 2024-03-21 22:43:03 发布
阅读量307 收藏
点赞数
分类专栏： Python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/itanders/article/details/86709700
版权
本文介绍了在Python中处理数据文件时遇到的编码问题，通过一个实际场景展示了如何确定文件的正确编码并使用pandas进行读取。在读取CSV文件时，由于编码设置不正确导致行标题丢失和格式错位。通过使用chardet库检测文件编码，发现文件实际上是GB2312编码，而非预期的UTF-8。理解GB2312、GBK和GB18030之间的关系，最终找到文件实际编码为UTF-8-SIG，从而成功解决了问题。
摘要由CSDN通过智能技术生成

在Python开发中，当需要读取某些数据文件或者获取某些数据时，很有可能会遇到因为编码不匹配而报错的情况。这类问题其实非常常见，主要原因，还是因为没有选择正确的编码来识别所导致的。

为了很好的说明并解决这个问题，我以一个实际场景为例。当前，有一个csv格式的excel数据文件，为了确保数据文件的编码与我们假设的一致，我手动打开将此csv文件并明确以UTF-8编码另存为再次保存了一遍，默认情况下这个文件理应当以UTF-8的编码格式保存了。

下面简单的使用pandas库并以显式地方式设置以UTF-8的编码格式去读取csv文件，然后把最终数据赋值给data1并输出看看结果。

import pandas as pd

data1 = pd.read_csv('/Users/Anders/Downloads/dataset.csv', engine='python',
最低0.47元/天 解锁文章
itanders
关注
专栏目录
Pyspark encoding 报错
onway_goahead的博客
09-18 249
import sys sys.getdefaultencoding() reload(sys) sys.setdefaultencoding('utf-8'）
python 内存不足报错_Spark排错与优化
weixin_39589511的博客
12-22 1252
Master挂掉,standby重启也失效Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是master会读取每个task的event log日志去生成Spark ui，内存不足自然会OOM，可以在master的运行日志中看到，通过HA启动的master自然也会因为这个原因失败。解决增加Master的内存占用，在Master节点spark-env.sh中设置：expor...
python为源文件指定系统默认_Python 设置系统默认编码
weixin_35548486的博客
01-29 1129
python在安装时，默认的编码是ascii，当程序中出现非ascii编码时，python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)，python没办法处理非ascii编码的，此时需要自己设置将python的默认编码，一般设置...
python encoding报错_Python代码中中文报错问题解决
weixin_42551310的博客
02-09 596
http://www.python.org/dev/peps/pep-0263/(标准文档)Python will default to ASCII as standard encoding if no otherencoding hints are given.To define a source code encoding, a magic comment mustbe placed into...
python encoding报错_Python BeautifulSoup报错encoding error问题
weixin_30529479的博客
02-09 932
编码后的html：def getHtml(self,url):headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0","Connection":"keep-alive",}r = requests.get(url,headers=headers)html ...
解决TypeError: ‘encoding’ is an invalid keyword argument for this function
牛肉胡辣汤
10-14 1万+
​​错误通常发生在文件读写操作中，原因是​​open()​​函数不支持​​encoding​​参数。解决这个错误的方法包括检查Python版本、使用正确的函数、检查函数参数以及检查文件打开模式。通过正确地使用​​open()​​函数，并避免错误使用​​encoding​​参数，我们可以顺利地进行文件读写操作。希望本文对你能够帮助你解决​​错误。如果你还有其他疑问，请随时提问。
Python3 Pyc文件排错详解：目录操作与故障排查
本资源详细介绍了如何在Python 3环境下处理pyc文件以及遇到问题时的排错帮助。首先，针对文件系统操作可能出现的问题，作者强调了检查文件名或路径的准确性，以及在重命名文件时确保文件未被占用且目标名称没有冲突...
使用python和MySql进行存储加密
xiqsun0的博客
03-28 179
源码下载 http://www.byamd.xyz/hui-zong-1/ Python 2.7 IDE Pycharm 5.0.3 PyMySQL 0.7.6 MySQL 5.7 MySQL Workbench 6.3 应用场景 如果数据库是暂存在第三方，而且存入的数据又不想让第三方数据库管理员看到，消息涉及隐私，只有自己可见，那么怎么办呢，我自己设计了一套用户加密验证系统，对登录密码进行MD5/SHA1可选加密，对明文进行自定义的加密算法进行加密存储。短时间内无法破解（私以为） 特点 用
Python 报错 unicodedecodeerror: ‘utf-8‘ codec can‘t decode byte 0x8c
最新发布
日常学习与专研的记录
03-21 2223
Python 解决读取文件报错 “unicodedecodeerror: ‘utf-8‘ codec can‘t decode byte 0x8c”
成功解决：Invalid encoding name “UTF8“
日常笔记 | 干货分享 | 毕设源码 | 毕设指导 | 答辩指导
08-28 843
出现这个问题可能由于不同的原因、本文是由于文件中设置的编码格式问题，需要将改成。
多次定义encoding异常
KingZhCool的专栏
08-25 207
定义了两次encoding，报异常： org.apache.jasper.JasperException: /fail.jsp(3,1) Page directive must not have multiple occurrences of pageencoding
已解决java.io.UnsupportedEncodingException异常的正确解决方法，亲测有效！！！
小明的Java问道之路
01-18 1万+
已解决java.io.UnsupportedEncodingException异常的正确解决方法，亲测有效！！！
python实现批量转换文件编码encoding
staney的博客
10-22 1861
因多语种造成的编码问题 很多代码文件移到其他开发环境IDE时，会因编码问题编译出错。 典型的例如：ecllipse下的.java文件不是utf-8格式，在AS上中文是乱码。一些非中英文的其他语种文字存在于文件.c , .cpp, .h, .hpp时，如果文件不是utf-8则在visual studio上打开会出现乱码，直接使得代码排版出现问题而编译失败。 解决方法 使用python将所有文件编码转换为utf-8 运行环境: python3.7.4 这里废话不多，直接上全部代码。解释一下使用方法：
pandas read_excel()方法更新了，encoding参数没了
本博客暂停使用
08-06 1万+
pandas read_excel()方法更新了，encoding参数没了
TypeError: 'encoding' is an invalid keyword argument for this function
热门推荐
大鱼的博客
12-16 2万+
使用Python进行爬虫，报错： TypeError: 'encoding' is an invalid keyword argument for this function before： with open('baidu.html','w',encoding='utf-8') as fp: fp.write(response.read().decode()) 按照提示的意思...
Python保存文件时中文乱码/指定encoding仍然乱码
Rumou的博客
04-13 1119
注意和即可。 encoding='utf-8’声明按照utf-8编码的方式来读取，来确保 JSON 序列化时不将 Unicode 编码为 ASCII
Python数据分析入门笔记2——pandas数据读取
奥特曼打小白的专栏
01-27 7474
快速入门pandas，认识pandas三大结构Series、DataFrame和Panel中的前两种，知道读取文件，并且按行或者按列有选择性地查找数据。
python read_csv遇到的encoding字符编码问题总结
lvhuike的博客
05-28 1万+
一、博客背景 我偶尔会接到把csv导入数据库的任务，我通常都是先用pd.read_csv读取文件数据，接着用df.to_sql导入数据库。有时read_csv会遇到不同的编码问题，我的解决方法通常是把常用的几种编码挨个试一下，哪种结果正确就选择哪一种。 二、博客目的 今天在这里，把我遇到的几种编码梳理汇总一下，方便自己和大家以后查询。 三、常见的编码 先放一下我都是怎么写read_csv。 reader = pd.read_csv(file_path , s
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值