pandas 提高效率，降低内存的方法

最新推荐文章于 2024-06-26 11:00:24 发布

杨健yj

最新推荐文章于 2024-06-26 11:00:24 发布

阅读量4k

点赞数

分类专栏： pandas 文章标签： category pandas 内存 to_numeric

本文链接：https://blog.csdn.net/yj1556492839/article/details/79494853

版权

本文介绍了两种方法优化pandas数据框的内存使用：将数值型列降级到更高效的类型，以及将字符串列转换为类别类型。通过示例展示，这些操作可以显著降低内存占用，尤其在处理大规模数据时效果更为明显。

摘要由CSDN通过智能技术生成

将数值型列降级到更高效的类型

我们可以用函数pd.to_numeric()来对数值型进行向下类型转换。我们用DataFrame.select_dtypes来只选择整型列，然后我们优化这种类型，并比较内存使用量。
先找到要转化的类型，可用以下语句：

DataFrame.select_dtypes(include=None, exclude=None)
#include, exclude : scalar or list-like
#返回DataFrame
data_2 = data.select_dtypes(include=['int8'])#'int8'要放在列表中，返回的data_2是DataFrame格式的

然后让这些数据自动转化成占内存较小的数据类型。

pandas.to_numeric(arg, errors='raise', downcast

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

杨健yj

关注关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

利用pandas减少内存的方法

09-12

读入数据量大时，通过数据转换减少占用内存。附有可以执行的代码，

PANDAS 降低存储空间的方法

weixin_46120187的博客

02-04

401

降低存储空间的方法原创YangJianShuai 最后发布于2018-03-09 11:14:09 阅读数 2691 收藏展开将数值型列降级到更高效的类型我们可以用函数pd.to_numeric()来对数值型进行向下类型转换。我们用DataFrame.select_dtypes来只选择整型列，然后我们优化这种类型，并比较内存使用量。先找到要转化的类型，可用以下语句： DataFrame...

参与评论您还未登录，请先登录后发表或查看评论

pandas减少dataframe占用内存的若干方法

最新发布

唯有热爱可抵万难

06-26

584

pandas减少dataframe占用内存的若干方法

13 个提高数据分析效率的 Pandas 技巧

Python学习与数据挖掘

05-12

719

归纳整理了一些工作中常用到的pandas使用技巧，方便更高效地实现数据分析。 1.计算变量缺失率 df=pd.read_csv('titanic_train.csv') def missing_cal(df): """ df :数据集 return：每个变量的缺失率 """ missing_series = df.isnull().sum()/df.shape[0] missing_df = pd.DataFrame(missing_series).

5个提高效率的Pandas实用技巧

qq_32506555的博客

08-25

1735

Python 正迅速成为数据科学家们更为钟爱的编程语言。形成该现状的理由非常充分：Python 提供了一种覆盖范围更为广阔的编程语言生态系统，以及具有一定计算深度且性能良好的科学计算库。如果您是 Python 初学者，建议首先看下Python 学习路线。在 Python 自带的科学计算库中，Pandas 模块是最适于数据科学相关操作的工具。它与 Scikit-learn 两个模块几乎提供了数据

Pandas 性能优化

nuannuan_lay的博客

07-15

463

Pandas 性能优化在数据分析中，Pandas常被用来读取数据、数据处理、数据挖掘，是一个方便、好用的库。但Pandas的运行速度较慢，特别是在处理一些大的数据集时，因此本文整理了一些Pandas性能优化的方法。性能分析在做性能优化之前，可以先用line_profiler查看每一行代码执行的时间占比，然后根据具体时间占比进行针对性的优化。 from line_profiler import LineProfiler import random def do_stuff(numbers): # 定

pandas string转dataframe的方法

09-20

例如，当需要将数据保存到硬盘，并且之后再从硬盘读取这些数据时，转换为字符串的方法能够有效降低内存占用，从而避免程序崩溃或响应缓慢的问题。此外，对于需要频繁读写数据的场景，这种方法也可以减少因内存不足而...

用pandas处理大数据———减少90%内存消耗的小贴士

04-29

在使用Pandas处理大数据时，内存管理是关键因素，因为数据规模增大，内存消耗也...在棒球比赛记录数据的案例中，通过数据类型优化，有可能将内存使用量从861.6 MB降低到接近90%，从而显著提高处理效率和程序的可行性。

Pandas性能优化指南：提升代码效率与内存管理的秘诀

Pandas是一个开源的Python数据分析库，由Wes McKinney于2008年创建，旨在提高数据分析的效率。Pandas提供了快速、灵活和表达能力强的数据结构，设计用于处理结构化（表格、多维、异质）和时间序列数据。它在金融分析...

pandas join内存过大

09-09

当使用pandas的join操作时，如果涉及的数据量较大，可能会导致内存占用过大的问题。这是因为join操作会一次性将所有数据加载到内存中，然后进行连接操作...根据具体情况选择合适的解决方案，以提高效率和降低内存占用。

10.Pandas优化

m0_63953077的博客

02-14

220

Pandas优化

Pandas性能优化:基础篇

JanLEE

10-24

586

Pandas 号称“数据挖掘瑞士军刀”，是数据处理最常用的库。在数据挖掘或者kaggle比赛中，我们经常使用pandas进行数据提取、分析、构造特征。而如果数据量很大，操作算法复杂，那么pandas的运行速度可能非常慢。本文根据实际工作中的经验，总结了一些pandas的使用技巧，帮助提高运行速度或减少内存占用。

Pandas 提高性能详解（enhancing performance）(一)

fpy192的博客

08-22

1836

在本系列文章中，我们将展示如何使pandas DataFrame在三种不同技术上加速: Cython, Numba和pandas.eval。当我们在测试程序上按行迭代DataFrame时，使用Cython和Numba相比纯python编程的方式，运行速度提高约200倍。本篇文章将重点介绍Cython的使用。 Cython的使用场景？对于很多数据处理量不大，对性能要求不...

Pandas进阶之提升运行效率

dingsui6715的博客

06-24

548

前言如果你现在正在学习数据分析，或者正在从事数据分析行业，肯定会处理一些大数据集。pandas就是这些大数据集的一个很好的处理工具。那么pandas到底是什么呢？官方文档上说： " 快速，灵活，富有表现力的数据结构，旨在使”关系“或”标记“数据的使用既简单又直观。" 快速、灵活、简单、直观！这些听起来感觉很棒。如果你的工作涉及到构建复杂的数据模型，你肯定不希望花费大量的开发时间等待...

pandas优化方法的总结

yyqq188的博客

12-23

425

一利用pandas进行矢量化操作一般情况下，我们肯定不能用for 循环的方式来处理数据再不然用df.itertuples 或 df.iterrows,来实现循环遍历，再不然用apply()去作用与每行数据，利用pandas操作的最好的方式还是矢量化操作,这样才能最大化的发挥pandas的优势参考这篇文章提到的 https://blog.csdn.net/BF02jgtRS...

Pandas内存优化 trick

seeker的博客

11-07

784

本篇内容大部分翻译自 https://www.dataquest.io/blog/pandas-big-data/ 将内存使用量减少高达90％的方法当使用 pandas 处理小规模数据，如 100M 左右，性能问题不用担心。但是当处理稍大规模数据，如 G 级别的数据，性能问题就会使运行时间变长，甚至会出现内存不足而导致失败，就是所谓的 OOM 问题。一些大数据工具如 Spark 可以处理...

【数据处理】pandas数据处理优化方法小结

探索世界，改变世界

10-24

570

数据处理时使用最多的就是pandas库，pandas在数据处理方面很强大，集成了数据处理和数据可视化。 pandas的可视化使用的是matplotlib。回到主题问题1：计算数据的某个字段的所有值，对其字段所有值进行运算处理的字段数据为时间戳，需要计算该时间戳距离现在的时间，单位为天。一般方法：使用现在的时间戳减去整个字段的值，得到距离现在的秒数，最后换算成天...

Pandas处理大数据的性能优化技巧

abackcab的博客

03-21

1027

Pandas是Python中最著名的数据分析工具。在处理数据集时，每个人都会使用到它。但是随着数据大小的增加，执行某些操作的某些方法会比其他方法花费更长的时间。所以了解和使用更快的方法非常重要，特别是在大型数据集中，本文将介绍一些使用Pandas处理大数据时的技巧，希望对你有所帮助数据生成为了方便介绍，我们生成一些数据作为演示，faker是一个生成假数据的Python包。这里我们直接使用它“”"“”"“”"我们创建了一个100万行的DF。