pandas利用数据类型转换节省内存空间

最新推荐文章于 2024-05-02 08:16:00 发布
最新推荐文章于 2024-05-02 08:16:00 发布
阅读量813 收藏 2
点赞数 1
分类专栏： python pandas numpy 文章标签： python numpy 压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xu136090331/article/details/100085267
版权
本文探讨了如何使用pandas的astype方法进行数据类型转换以节省内存，特别是对于数值型和类别型数据。通过自适应转换找到最合适的列数据类型，并提醒在数值型转换后可能遇到的计算结果溢出问题，以及类别型转换后处理缺失值的注意事项。
摘要由CSDN通过智能技术生成

pandas利用数据类型的转换(astype)节省内存空间

数据类型转换函数astype

df1 = pd.DataFrame({
   'a':[1,2,3,np.inf],'b':[12,321,23,np.nan]})
>>>
     a      b
0  1.0   12.0
1  2.0  321.0
2  3.0   23.0
3  0.0    NaN

#获取数据类型
df1.dtypes
>>>
a    float64
b    float64
dtype: object

#获取dataframe的大小（单位字节）
df1.memory_usage()
最低0.47元/天 解锁文章
AML杰
关注
专栏目录
【硬核干货】Pandas模块中的数据类型转换
weixin_43373042的博客
06-23 667
我们在整理数据的时候，经常会碰上数据类型出错的情况，今天小编就来分享一下在Pandas模块当中的数据类型转换的相关技巧，干货满满的哦！导入数据集和模块那么我们第一步惯例就是导入Pandas模块以及创建数据集了，代码如下importpandasaspd importnumpyasnp df=pd.DataFrame({ 'string_co...
Python——Pandas保存数据为HDF5格式时应注意数据类型
12-22
例如，将Object类型的列转换为`np.float32`，不仅可以节省存储空间，还能避免读取时进行额外的数据类型转换，进一步加快处理速度。 在实际操作中，可以使用Pandas的`astype()`方法来批量转换DataFrame中的列数据...
PANDAS 降低存储空间的方法
weixin_46120187的博客
02-04 404
降低存储空间的方法 原创YangJianShuai 最后发布于2018-03-09 11:14:09 阅读数 2691 收藏 展开 将数值型列降级到更高效的类型 我们可以用函数pd.to_numeric()来对数值型进行向下类型转换。我们用DataFrame.select_dtypes来只选择整型列，然后我们优化这种类型，并比较内存使用量。 先找到要转化的类型，可用以下语句： DataFrame...
通过格式转换减少数据内存消耗
YJ语
05-29 180
在进行数据处理时，适当的格式转换可以有效减少内存的使用 以下是封装好的一个方法 ——通过转换数据格式减小数据内存消耗！ #输入为DataFrame，输出为DataFrame # 通过转换数据格式减小数据内存消耗 def reduce_mem_usage(df): start_mem = df.memory_usage().sum() / 1024**2 print('Memory usage of dataframe is {:.2f} MB'.format(start_mem))
数据类型转换的内存原理
han897910256的博客
08-14 1117
// 数据类型转换的内存原理.cpp : Defines the entry point for the console application. // //1个字节就为8位十六进制 #include "stdafx.h" #include #include /* 低字节往高字节 按符号位去填充 */ int main1(int argc, char* argv[])
pandas压缩数据，数据挖掘竞赛必备
行路者
10-13 1045
场景：很多时候，我们需要读取多个文件数据，导致内存增大，甚至报错。 解决方案，在我们读取之后，做一些数据类型的判断，选择合适的数据类型，减少内存占用： import pandas as pd import numpy as np # 压缩内存函数,文件大小没变化,占用内存减小 def reduce_mem_usage(df, verbose=False): start_memory = df.memory_usage().sum() / 1024 ** 2 numerics =
pandas内存压缩
weixin_44590417的博客
08-23 959
pandas压缩占用内存技术
Pandas数据类型转换实用技巧分享
"Pandas实现数据类型转换的一些小技巧汇总" 在使用Pandas进行数据分析时，数据类型转换是一项基本且至关重要的任务。Pandas提供了一系列函数和方法，使得我们可以灵活地改变DataFrame或Series中的数据类型。以下是...
python使用pandas处理大数据节省内存技巧（推荐）
09-19
4. **使用稀疏矩阵**：如果DataFrame中有大量空值（NaN），考虑使用Pandas的SparseArray或SparseDataFrame，它们只存储非空值，从而节省内存。 5. **去除无用的列或行**：在开始处理数据之前，先清理掉不必要的列或...
pandas:数据列的压缩与扩展
Pianist Of Keyboard的博客
03-24 952
标题有点太抽象了，其实是因为我最近遇上两个需求
不容错过的Pandas小技巧：万能转格式、轻松合并、压缩数据，让数据分析更高效...
lovenankai的专栏
03-26 234
作者 | Roman Orac转自 | 量子位 编译|鱼羊数据分析，如何能错过Pandas。现在，数据科学家 Roman Orac 分享...
用pandas处理大数据———减少90%内存消耗的小贴士
wally21st的博客
08-29 1万+
用pandas处理大数据———减少90%内存消耗的小贴士 一般来说，用pandas处理小于100兆的数据，性能不是问题。当用pandas来处理100兆至几个G的数据时，将会比较耗时，同时会导致程序因内存不足而运行失败。 当然，像Spark这类的工具能够胜任处理100G至几个T的大数据集，但要想充分发挥这些工具的优势，通常需要比较贵的硬件设备。而且，这些工具不像pandas那样具有丰富的进行高质
真给力，字节跳动年度首发《音视频开发进阶指南》限时领取，理论与实战齐飞
最新发布
m0_60721649的博客
05-02 136
音视频播放：音视频同步音视频解封和封装：生成一个MP4。
pandas 包含NaN的列使用astype 将str转int错误,pandas的陷阱-int内置类型不包含NaN
weixin_62338560的博客
10-10 722
DeckNum列是object类型,这一列的数据有str数据以及NaN,在转int时候报错:
pandas.dropna/isnull/fillna/astype的用法
dili8870的博客
07-12 706
删除表中的某一行或者某一列更明智的方法是使用drop，它不改变原有的df中的数据，而是返回另一个dataframe来存放删除后的数据。 （1）清理无效数据 df[df.isnull()] #返回的是个true或false的Series对象（掩码对象），进而筛选出我们需要的特定数据。 df[df.notnull()] df.dropna() #将所有含有na...
pandas中关于nan的处理
我是小蚂蚁
10-27 5万+
在pandas中有个另类的存在就是nan，解释是：not a number，不是一个数字，但是它的类型确是一个float类型。对于pandas中nan的处理，简单的说有以下几个方法。 import numpy as np import pandas as pd from pandas import Series, DataFrame n = np.nan print(type(n)) # &lt...
pandas神坑：如果列有NAN，则默认给数据转换为float类型
jiangbo721的博客
11-11 6545
data = pandas.read_excel(file) 结果读完一个excel，我所有为空的单元格，他全部给我按nan算了，好无语。 然后debug去查看这个nan，居然还是float类型，为什么不用字符串呢？ 所以我们想把对应nan的数据改为自己想要的数据，就要操作一番。 第一种： data.fillna('', inplace=True) 直接替换读取到的数据中为空的数据为空字...
python dataframe astype 字段类型转换
热门推荐
chinacmt的博客
08-17 13万+
使用astype实现dataframe字段类型转换# -*- coding: UTF-8 -*- import pandas as pd df = pd.DataFrame([{'col1':'a', 'col2':'1'}, {'col1':'b', 'col2':'2'}])print df.dtypesdf['col2'] = df['col2'].astype('int') print '-
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值