pandas to_csv 浮点数被改变的解决方案

最新推荐文章于 2023-09-09 00:59:36 发布
最新推荐文章于 2023-09-09 00:59:36 发布
阅读量1.1k 收藏 1
点赞数 1
分类专栏： pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Silver_Lyan/article/details/113882029
版权
在使用pandas的to_csv功能处理数据时，发现浮点数精度发生变化，导致数据不匹配。问题在于csv保存时默认处理了浮点数精度。通过设置`float_format=str`参数，可以将浮点数以字符串形式保存，确保与原始数据一致。示例中展示了如何修正此问题并验证修复效果。
摘要由CSDN通过智能技术生成

背景

有一批街景图像，文件名格式：id_x_y_heading.jpg (eg.56262_115.9925510858986_28.572276170418235_225.jpg)

我需要生成一个包含[id,x,y,heading,tile_id]这些列的img_info.csv，以便后续任务的信息查找。

但是在后续工程里调取img_info.csv时，查不到数据。

仔细排查发现，img_info.csv的x y数据与文件名中x y数据有出入。(eg. csv中x为115.99255108589858，而文件名中为115.9925510858986)。

而且生成img_info.csv对应数据的dataframe时，x y一直保持的str格式。

解决方法

sv.to_csv(‘nc_sv_new.csv’, index=False, float_format = str, encoding = ‘utf-8’)

示例

从文件名生成的sv
从文件名生成的dataframe

在这里插入图片描述
增加了tile信息的dataframe

在这里插入图片描述
把csv重新读取进来验证一下

Silver_Lyan
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pandas处理数据遇到的问题与解决
weixin_43066801的博客
05-14 1万+
set_index与reindex的区别 set_index能够将DataFrame中的某一column设置为索引 reindex的作用是根据new_index重新排列DataFrame 如果新的new_index中含有原index未含有的索引，则对应的行的值全部是Nan，当然，可以选择在reindex( )传入method参数来解决这一点，例如：method=‘ffill’ 读入DataFrame时的数据类型问题 问题描述 在通过pd.read_csv( )方法读入csv数据时，如果未指定dat
python dtype强制类型转换_python - 将包含NaN的Pandas列转换为dtype`int`
weixin_39718521的博客
12-20 2140
python - 将包含NaN的Pandas列转换为dtype`int`我将.csv文件中的数据读取到Pandas数据帧，如下所示。 对于其中一列，即id，我想将列类型指定为int.问题是id系列有缺失值/空值。当我尝试在读取.csv时将id列转换为整数时，我得到：df= pd.read_csv("data.csv", dtype={'id': int})error: Integer colum...
pandas 读取csv文件，再写入文件，产生超长小数位数问题
qq_39314099的博客
01-07 8509
python中的浮点数是17位精度，所以小数在python中实际是17位，这在用pandas时更能体现出来，假如有这样的一个csv文件： 其中有很多小数，经由python的pandas读取，再写入： import pandas as pd df = pd.read_csv('D:\\csv\\Data.csv') df.to_csv('D:\\csv\\111.csv', index=F...
pd.read_csv读取txt时整型变成浮点型问题解决
studyvcmfc的专栏
08-12 4019
https://zhuanlan.zhihu.com/p/27440031
pandas读取到的数据转list的问题
最新发布
qq_63401240的博客
09-09 762
pandas与lisr
pandas to_csv()写入函数参数详解
weixin_50220061的博客
10-22 8万+
pandas to_csv()写入函数参数详解 DataFrame.to_csv(path_or_buf=None, sep=',', na_rep='', float_format=None, columns=None, header=True, index=True, index_label=None, mode='w', encoding=None, compression='infer', quoting=None, quotechar='"', line_terminator=None, chun
Python 读取csv文件时数字变成科学计数法（含有e）
01-20
另一个解决方案是将数字列读取为字符串类型，这样就不会有精度损失，也不会自动转换成科学计数法。这可以通过设置`dtype`参数实现： ```python df = pd.read_csv('yourfile.csv', dtype=str) ``` 3. **自定义...
python csv写入有空行_Python 解决写入csv中间隔一行空行问题
weixin_32401763的博客
01-13 1564
写入csv：with open(birth_weight_file,'w') as f:writer=csv.writer(f)writer.writerow(birth_header)writer.writerows(birth_data)f.close()这种写法最终的结果就是生成的csv文件每两行中间都有一行空白行，解决办法就是写入后面加上newline=''写法：with open(bir...
pandas转为数组_python - 将pandas数据帧转换为numpy数组，保留索引
weixin_39634443的博客
12-20 2320
python - 将pandas数据帧转换为numpy数组，保留索引我有兴趣知道如何将pandas数据帧转换为numpy数组，包括索引，并设置dtypes。数据帧：import numpy as npimport pandas as pdindex = [1, 2, 3, 4, 5, 6, 7]a = [np.nan, np.nan, np.nan, 0.1, 0.1, 0.1, 0.1]b =...
Python——Pandas保存数据为HDF5格式时应注意数据类型
12-22
在这种情况下，HDF5格式作为一个高性能的科学数据存储解决方案，被许多数据科学家所青睐。 HDF5（Hierarchical Data Format 5）是一种文件格式，设计用于存储和管理大量、多维和复杂的数据。它支持大型数据集，允许...
pandas的to_csv()使用方法
张先生－您好的博客
08-20 8410
本文为转载：原作者 pandas的to_csv()使用方法 1.首先查询当前的工作路径： import osos.getcwd() #获取当前工作路径 2.to_csv()是DataFrame类的方法，read_csv()是pandas的方法 dt.to_csv() #默认dt是DataFrame的一个实例，参数解释如下 路径 path_or_buf: A string path to the file to write or a StringIO dt.to_csv('Result.cs
pandas to_csv函数，csv里的数据保留小数点后3位
RanCh.Wong
08-07 1万+
outfile.to_csv('outfile.csv', index=False, encoding='gbk',float_format='%.3f')
pandas系列 read_csv 与 to_csv 方法各参数详解（全，中文版）
博客 小站
04-21 15万+
* 由于在做数据处理，数据分析的时候，免不了读取数据或者将数据转换为相应的处理形式，那么，pandas的read_csv和to_csv，就能给我们很大的帮助，接下来，博主，将 read_csv 和 to_csv 两个方法的定义，进行整合，方便大家进行查阅。* 1. read_csv read_csv方法定义： pandas.read_csv(filepath_or_buffe...
pandas的to_csv方法
sunquan_ok的博客
07-06 7万+
pandas.DataFrame.to_csv DataFrame.to_csv(path_or_buf=None, sep=', ', na_rep='', float_format=None, columns=None, header=True, index=True, index_label=None, mode='w', encoding=None, compression=None
Pandas处理csv表格
MachineLP的专栏
02-08 2万+
你要的答案或许都在这里：小鹏的博客目录 可以结合这篇使用：数据处理利器Pandas使用手册 1）读取csv文件 data =pandas.read_csv(‘test.csv’) //返回的是DataFrame变量 first_rows = data.head(n) //返回前n条数据,默认返回5条 cols = data.columns //返回全部列名 dimensison =
利用NumPy和pandas对CSV文件进行写操作
星空永恒
01-16 1万+
数组存储成CSV之类的区隔型文件： 下面代码给随机数生成器指定种子，并生成一个3*4的NumPy数组 将一个数组元素的值设为NaN: In [26]: import numpy as np In [27]: np.random.seed(42) In [28]: a = np.random.randn(3,4) In [29]: a[2][2] = np.nan In [30]: pri
解决pandas\numpy 转换类型 造成数值（负数）改变问题
LM813381916的博客
11-26 3448
问题描述： 在使用pandas的dataframe的时候，有时候，会遇到明明应该是一串数字的，它使用科学计数法表示出来。 例如： 136377710738 变成 1.36378e+11 它自动将长整数，或者长小数，转成了这种不方便使用的形式。当然它只是形式变了，但是不影响计算结果。 但是想将其转换成正常显示的时候，我们会使用，astype()进行转换，但是有时候会遇到，转换完之后，数值变得莫名其妙。 例如： 136377699741 变成 -2147483648 原因： 我们在查看这个数字格式的时候
【pandas】 之 DataFrame 保存为文件 (df.to_csv、df.to_json、df.to_html、df.to_excel)
热门推荐
tz_zs的博客
07-21 34万+
____tz_zs DataFrame数据的保存和读取 df.to_csv写入到csv文件 pd.read_csv读取csv文件 df.to_json写入到json文件 pd.read_json读取json文件 df.to_html写入到html文件 pd.read_html读取 html文件 df.to_excel 写入到 excel 文件 ...
pandas to_csv
08-08
可以使用pandas的to_csv()方法将DataFrame保存为csv文件。例如，使用以下代码将DataFrame保存为csv文件： ```python import pandas as pd df = pd.read_csv('./data/34/sample_pandas_normal.csv', index_col=0) df.to_csv('./data/34/to_csv_out.csv') ``` 这将把DataFrame保存为名为to_csv_out.csv的文件。如果你想将数据追加到现有的csv文件中，可以使用mode='a'参数。例如： ```python df.to_csv('./data/34/to_csv_out.csv', mode='a', header=False) ``` 这将把数据追加到to_csv_out.csv文件中，而不会添加新的列名。 如果你想指定整数或浮点数列的格式，可以先将DataFrame中的列转换为字符串格式，然后再保存为csv文件。例如： ```python df\['col1'\] = df\['col1'\].map('{:.3f}'.format) df\['col2'\] = df\['col2'\].map('{:.3e}'.format) df\['col3'\] = df\['col3'\].map('{:#010x}'.format) df.to_csv('./data/34/to_csv_out_float_format_str.csv') ``` 这将把DataFrame中的col1列保留3位小数，col2列使用科学计数法表示，col3列以十六进制格式保存。 请注意，保存后的列类型将变为object。你可以使用df.dtypes来检查列的数据类型。 \[1\] \[2\] \[3\] #### 引用[.reference_title] - *1* *2* *3* [34_Pandas对CSV文件内容的导出和添加（to_csv）](https://blog.csdn.net/qq_18351157/article/details/113520345)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值