Pandas 将gbk和utf-8 的文件格式转换出错时的解决方法(windows)

最新推荐文章于 2023-11-27 17:01:31 发布
最新推荐文章于 2023-11-27 17:01:31 发布
阅读量2.8k 收藏
点赞数
分类专栏： 报错处理 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoxifei/article/details/108463200
版权

在Windows 下，进行utf-8 格式的相关转换时需要注意，许多编译器默认windows上的是ANSI编码的而非utf-8格式，这会导致绝大多数情况下BOM会丢失

因此在windows下进行转换时，要写清楚，比如我有一个gbk格式的csv文件，需要按照如下方式进行转换

import pandas as pd
df = pd.read_csv(path,encoding="gbk")
df.to_csv(path,encoding="utf-8-sig")

如果to_csv 里面直接写encoding=“utf-8” 转出来的结果会有乱码

xiaoxifei
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
UTF-8 转GBK 引起的乱码问题(对接金蝶开票系统)
Xhm1064的博客
06-26 1560
背景: 对接金蝶系统开具电子发票出现开票失败,失败原因存在特殊字符 尝试1 : EmojiUtil.removeAllEmojis(csRemark) 需要的maven依赖(放在最后面): <dependency> <groupId>com.vdurmont</groupId> <artifactId>emoji-java<...
Python-pandas-2.0.3版本whl安装文件及依赖文件
最新发布
05-09
那么我们就要使用离线安装的方式进行安装了，这里提供了pandas-2.0.3-cp38-cp38-win_amd64.whl、python_dateutil-2.9.0.post0-py2.py3-none-any.whl、pytz-2024.1-py2.py3-none-any.whl这些依赖包，已经在本地安装...
Python使用pandas读取csv文件支持utf-8和gbk编码自动识别
07-30
Python 简单使用 pandas 读取excel 的 csv文件处理，支持utf-8和gbk编码自动识别。
python gbk 相互转换 utf8
qq_43373608的博客
04-21 1910
文章目录gbk转utf8utf8转gbk gbk转utf8 def gbkfileToUtf8(inFilePath,outFilePath): with open(inFilePath, 'rb') as f1: a = f1.read() b = a.decode('gbk', 'ignore') with open(outFilePa...
pandas的to_csv函数内设置encoding='utf8'后文件打开是乱码的问题
Gfqwy2021
01-19 1514
将encoding=‘utf8’改为encoding=‘utf_8_sig’ eg: XXX.to_csv(r’票房1111.csv’,encoding='utf_8_sig')
Python字符编码转码之GBK,UTF8互转
12-20
一、Python字符编码介绍 1、须知： 在python 2中默认编码是 ASCII，而在python 3中默认编码是 unicode unicode 分为utf-32 (占4个字节),utf-16(占两个字节)，utf-8(占1-4个字节)，所以utf-16 是最常用的unicode版本，但是在文件里存的还是utf-8，因为utf8省空间 在python 3,encode编码的同时会把stringl变成bytes类型，decode解码的同时会把bytes类型变成string类型 在unicode编码中 1个中文字符=2个字节，1个英文字符 = 1个字节，切记：ASCII是不能存中文字符的 u
python利用pandas将excel文件转换为txt文件的方法
12-25
python将数据换为txt的方法有很多，可以用xlrd库实现。本人比较懒，不想按太多用的少的插件，利用已有库pandas将excel文件转换为txt文件。... with codecs.open(txt_dir, 'w', 'utf-8') as f: neg=pd.r
自动拆分csv文件，并存储为utf-8格式的csv文件
04-04
python使用pandas，根据输入分组名，自动分割csv文件，并存储为utf-8格式，多少种分组就自动存多少个文件，即开即用 也可做为pandas操作csv文件的学习材料，代码几乎每条语句都有注释
UTF-8与GBK的区别
01-22
GBK与UTF-8的区别 一，从字节上区分 　GBK的文字编码是双字节来表示的，即不论中、英文字符均使用双字节来表示，只不过为区分中文，将其最高位都定成1...
Python对中文字符的处理(utf-8/ gbk/ unicode)
热门推荐
chixujohnny
06-29 17万+
现在在做分词的时候会处理大量有关中文字符的处理，经常输出乱码，老大让我暂时不考虑字符编码，但是为了看着爽不得不研究一下。 分词系统：NLPIR 因为不同的编译环境默认的汉字编码可能不一样，我的环境是OSX10.11 + Pycharm + python2.7 文件第一行永远默认 # coding: utf-8 数据集我用的是“tc-corpus-train”这个是数据，百度一
python 万能编码处理，gbk，unicode，utf-8互转
weixin_34250434的博客
09-06 854
def getCoding(strInput):'''获取编码格式'''if isinstance(strInput, unicode):return "unicode"try:strInput.decode("utf8")return 'utf8'except:passtry:strInput.decode("gbk")return 'gbk'except:pass def tran2UTF8(...
Python utf-8和gbk转换
diaozhi0946的博客
11-01 263
文件声明为utf-8编码保存的源文件，但是中文windows的本地默认编码是cp936（gbk编码），Windows中直接打印utf-8的字符串是乱码。 解决方法： 在控制台打印的地方用一个转码就可以 print str.decode('UTF-8').encode('GBK') 1: #coding:utf-8 2: ''' 3: Creat...
文件转换为utf-8编码（python小脚本）
程松
03-01 2万+
本人windows环境，平时从数据库导出数据或者从网上下载csv或txt数据后，会发现各种编码格式。导致有时候打开文件会乱码。为了方便，把文件统一改为utf-8编码，这样就减少了很多麻烦。故写个python小脚本，解决麻烦。以下为思路： 在桌面建立空白文件夹，把需要转换编码的文件拖到里面； 读取文件夹所有文件； 然后以utf-8编码保存文件。 以下为python 脚本;# 更改文件编码 # 文件统一
【Python学习】编码格式之间的转换（unicode，utf-8，gbk）
思南的博客
08-27 1416
utf-8 <—> unicode <—> gbk 转换例子： s=u’小明’ #编码为utf-8 s_utf = s.encode(‘utf-8’) #变为为gbk,先解码为unicode，再编码 s_gbk = s_utf.decode(‘utf-8’).encode(‘gbk’) 结果如下图所示,utf-8一个中文占3个字节，gbk两个字节 用微软windows系统自带的记事本打开这个csv文件，菜单里选择另存，在弹出的窗口下面有个编码，这时显示出UTF-8的话说明该CSV文
pandas读写操作编码问题 'gbk' codec can't decode byte 0x80 in position 41: illegal multibyte sequence
学习python
07-09 9096
关于这个问题的解决方式有一下几个着重点，这里分享一下，希望大家能够避开这个误区。 第一点，如果出现这个报错，可以看一下是不是自己是不是有以下的操作 这时候需要在open函数后面加上编码方式，并规定是utf-8, 原因在于： Python 3里面字符串的默认编码是Unicode：这样，从网页中爬取的内容，如：data = BeautifulSoup(comment,'lxml').get...
pandas - read_csv报错：‘utf-8‘/‘gbk‘ codec can‘t decode byte 0xb1 in position 0:invalid start byte
我是小bā吖的博客
07-21 2026
Excel文件转换为csv文件后，编码格式为ANSI，jupyternotebook/python无法读取，怎么办？
python，Pandas读取csv文件gbk编码和utf-8编码都报错
qq_41386947的博客
11-27 3931
解决存在混合编码方式的文件读取问题，csv文件同时存在utf-8和gbk两种编码方式。
Pandas如何彻底解决中文数据处理问题？详解编码设置方法
devid008的博客
05-17 7198
Pandas如何彻底解决中文数据处理问题？详解编码设置方法
将csv文件的编码格式改为utf-8
qq_45122293的博客
05-22 1万+
将csv文件的编码格式改为utf-8
pandas读取csv文件并将gbk字符串转换为utf-8
05-18
可以使用 pandas 库中的 `read_csv()` 方法来读取 csv 文件，并通过 `encoding` 参数指定文件的编码格式为 gbk。然后可以使用 `to_csv()` 方法将读取的数据再次写入 csv 文件，并通过 `encoding` 参数指定文件的编码格式为 utf-8。 以下是一个示例代码： ```python import pandas as pd # 读取 csv 文件，指定编码格式为 gbk df = pd.read_csv("file.csv", encoding="gbk") # 将数据转换为 utf-8 编码并写入 csv 文件 df.to_csv("file_utf8.csv", index=False, encoding="utf-8") ``` 上述代码中，`read_csv()` 方法读取了名为 `file.csv` 的 csv 文件，并指定编码格式为 gbk。然后，将读取的数据存储在名为 `df` 的 pandas DataFrame 对象中。 接着，使用 `to_csv()` 方法将 DataFrame 对象中的数据写入名为 `file_utf8.csv` 的 csv 文件，并指定编码格式为 utf-8。`index=False` 参数用于去除 DataFrame 对象中的行索引。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值