pandas 中处理大型文件的方法

最新推荐文章于 2024-04-29 10:02:37 发布
最新推荐文章于 2024-04-29 10:02:37 发布
阅读量646 收藏 1
点赞数
分类专栏： pandas 数据分析 文章标签： 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42991982/article/details/110749356
版权
本文介绍了如何使用pandas处理大型数据文件，包括读取数据、查看行列信息、内存占用，以及针对int和float类型的向下转换以减少内存消耗。尽管转换int64到int32和float64到float32有一定效果，但效果有限。重点讨论了字符串类型（obj）的内存优化，通过将unique值远小于count值的列转换为category类型，显著降低了内存使用。
摘要由CSDN通过智能技术生成 
import pandas as pd 
import  numpy as  np

读取数据

g1=pd.read_csv(r"F:\_test.csv")
g1

查看表的行列信息，有多少行，多少列

g1.shape

查看表的内存信息

g1.info(memory_usage="deep")

查看不同内类型所占用的内存空间大小

for  dtype in ["float64","int64","object"]:
    selected_type=g1.select_dtypes(include=[dtype])
    mean_usage_b=selected_type.memory_usage(deep=True)
    mean_usage_mb=mean_usage_b/1024**2
    print("平均占用内存：",dtype,mean_usage_mb)

定义一个函数，来判定输入的数据大小

def mem_usage(pandas_obj
最低0.47元/天 解锁文章
冰冷热带鱼
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pandas处理大文件
Learning
01-27 1063
pandas在一次加载超大文件（以G为单位）时，容易遇到内存溢出问题。有以下解决思路。思路：分而治之+精简数据
数据处理：用pandas处理大型csv文件
热门推荐
ninnyyan的博客
07-11 1万+
在训练机器学习模型的过程中，源数据常常不符合我们的要求。大量繁杂的数据，需要按照我们的需求进行过滤。拿到我们想要的数据格式，并建立能够反映数据间逻辑结构的数据表达形式。 最近就拿到一个小任务，需要处理70多万条数据。 我们在处理csv文件时，经常使用pandas，可以帮助处理较大的csv文件。 pandas 中处理CSV 文件的函数主要为read_csv() 和to_csv()这两个，其中r...
【Python数据处理】Pandas处理大型Excel文件的四个技巧
最新发布
qq_31180631的博客
04-29 826
这样可以减少内存使用，但需要你手动处理每个块的数据。Excel格式（尤其是.xlsx）不是非常适合读取大型数据集，可以将数据保存为csv，然后使用pandas读取。将文件转换为CSV可以使用Excel软件，或者如果文件太大以至于难以在Excel中打开，可以尝试使用命令行工具如。指定列的数据类型可以减少内存使用。例如，如果你知道某列只包含整数，你可以在读取时指定这一列的数据类型为int。如果你只对文件中的某些列或某些行感兴趣，可以使用usecols和nrows参数只加载这部分数据。
pandas 处理CSV大文件
小鲸鱼的天空
08-03 1906
1、pandas操作CSV import pandas as pd df = pd.read_csv('datas/donations.csv', nrows=10000) # nrows设置读取数据的行数 donation_src_table = pd.DataFrame(df, columns=['projectid', 'is_teacher_acct']) # 可以从CSV中提取固...
pandas 大文件处理方式
rosefun96的博客
05-27 1586
1. 保存 .h5 格式文件 首先，安装 pytables, pip install tables >>> df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]}, ... index=['a', 'b', 'c']) >>> df.to_hdf('data.h5', key='d...
懵逼了？当 Pandas 遇上超大规模的数据集咋办？
Python数据挖掘
12-13 686
大家好，又是新的一周。大家一般会用Pandas模块来对数据集进行进一步的分析与挖掘关键信息，但是当我们遇到数据集特别特别大的时候，内存就会爆掉，今天我就来分享几个技巧，来帮助你避免遇到上述提到的这个情况。 注：文末提供技术交流群 read_csv()方法当中的chunksize参数 read_csv()方法当中的chunksize参数顾名思义就是对于超大csv文件，我们可以分块来进行读取，例如文件当中有7000万行的数据，我们将chunksize参数设置为100万，每次分100万来分批读取，代码如下 # r
对pandas写入读取h5文件的方法详解
09-19
这里的`key`参数指定要读取的HDF5中的数据节点，相当于在HDF5文件中选取特定的DataFrame。 总结来说，Pandas提供的HDF5接口允许我们方便地进行数据的存取，特别是对于大数据集，HDF5的压缩和高效读写特性非常有用。...
使用Python Pandas处理亿级数据的方法
09-19
本文将深入探讨如何使用Python Pandas处理亿级数据，以及在实际操作中需要注意的优化技巧。 首先，处理大数据时，一次性加载整个数据集到内存中通常是不可行的。Pandas提供了`read_csv`函数的`iterator`参数，这...
python pandas 对时间序列文件处理的实例
09-20
本文将通过实例详细介绍如何使用Pandas处理时间序列文件。 首先，我们导入必要的库，包括Pandas（用于数据处理）、NumPy（用于数值计算）和Matplotlib（用于数据可视化）： ```python import pandas as pd from ...
pandas 中文手册
07-17
Pandas 是一个强大的开源数据处理和分析库，它在Python编程语言中广泛使用。这个中文手册旨在为初学者提供一个快速掌握Pandas基本功能的平台，帮助他们轻松入门。通过官方教程和各种指南，学习者可以深入理解Pandas...
python使用pandas读xlsx文件
09-29
对于.xlsx文件中的日期、时间或数字格式，Pandas通常能正确识别并相应地存储数据。但有时需要手动设置数据类型，可以使用`to_datetime()`或`astype()`函数。 最后，我们可以通过`head()`或`tail()`函数查看数据的前...
python读取几个G的csv文件方法
12-25
如下所示： import pandas as pd file = pd.read_csv('file.csv',iterator=True) while True: chunk = file.get_chunk(1000) print(chunk.head(10)) print(chunk.tail(10)) 以上这篇python读取几个G的csv文件方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。 您可能感兴趣的文章:python读csv文件时指定行为表头或无表头的方法Python把对应格
Pandas对于大型（上G）数据集的几种读取方式
专注Python和R语言，分享Python和R语言入门教程
05-27 616
在一个CSV文件中往往存在很多列数据，但并不是所有的列都是我们需要的，此时如果将所有的列都读取出来，无疑会减慢数据读取速度。）竞赛平台上寻找一些数据集来练习，但是发现部分数据集是几G甚至几十G的，如图1所示。当刚刚得到一个很大的CSV文件时，迫切想了解数据的情况，此时推荐使用DataFrame对象的head()方法和tail()方法，先查看前5行数据和最后5行数据。说明：head()方法和tail()方法默认是查看5行数据，如果想查看更多的数据可以指定行数，如head(20)，查看前20行数据。
Pandas处理较大文件、读文件
MyNotes
04-03 3232
文章目录1、读取文件中前部分2、逐块读取文件3、获取指定列4、读取行 1、读取文件中前部分 通过nrows参数，来设置读取文件的前多少行，nrows是一个大于等于0的整数。 data = pd.read_csv("data.csv",nrows=5) print(data) ''' a b c 0 0 1 2 1 3 ...
pandas读取excel文件，如果excel文件太大内存存不下怎么办？
devid008的博客
06-25 2679
在数据分析任务中，我们常常需要读取Excel文件中的数据。但是，如果Excel文件特别大，内存无法加载整个文件，这时候pandas读取Excel文件会出现内存溢出的错误。本文介绍几种优化方法，可以有效解决这个问题。
超大CSV文件难不倒你！5招教会你运用Pandas轻松解决
devid008的博客
05-21 2958
在数据分析工作中，时常会遇到数据量巨大的CSV文件，这无疑给我们带来很大困扰，总是内存溢出和程序崩溃。在此教会各位Pandas的5招，让你轻松应对超大CSV文件，内存问题不再是障碍。
Pandas 如何处理超大规模数据
Python小二
11-07 3013
作者|SaraA.Metwalli 译者|盖磊 策划|陈思处理大规模数据集时常是棘手的事情，尤其在内存无法完全加载数据的情况下。在资源受限的情况下，可以使用 Python...
python pandas处理大数据文件常见问题汇总
qq_40389620的博客
04-16 591
1、电脑内存不够,读取文件导致报错 试验环境： 操作系统：Linux 内存大小：4G 文件大小：8G 文件类型：txt 常规读取文本代码：使用read_csv df = pd.read_csv(os.path.join(temp_path,"{}.txt".format(filename)),sep='\t',names=names) 解决方法：将数据集切割、分段读取，处理完一段数据就写入结果文件。 代码： chunksize_value:分割后每段数...
2000字详解 当Pandas遇上超大规模的数据集该如何处理呢？
Oner.wv的专栏
12-18 249
大家好，大家一般会用Pandas模块来对数据集进行进一步的分析与挖掘关键信息，但是当我们遇到数据集特别特别大的时候，内存就会爆掉，今天小编就来分享几个技巧，来帮助你避免遇到上述提到的这个情...
pandas读取大型csv文件
05-16
当处理大型CSV文件时，使用Pandas库可以提高数据的读取和处理效率。以下是一些处理大型CSV文件的最佳实践： 1. 使用chunksize参数： Pandas提供了一个chunksize参数，它可以将大型CSV文件拆分为多个小的DataFrame...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值