Pandas加载大数据集

武小胖儿

于 2024-01-15 09:56:08 发布

阅读量506

点赞数 11

分类专栏：代码数据分析文章标签： pandas

本文链接：https://blog.csdn.net/cleanarea/article/details/135593945

版权

代码同时被 2 个专栏收录

16 篇文章 0 订阅

订阅专栏

数据分析

3 篇文章 0 订阅

订阅专栏

Scaling to large datasets — pandas 2.1.4 documentationhttps://pandas.pydata.org/docs/user_guide/scale.html#use-efficient-datatypes官方文档提供了4种方法：只加载需要的列、转化数据类型、使用chunking（转化文件存储格式）、使用Dask（使用多进程/线程加载数据）。

pd_csv.to_parquet(file_path_p) #将文件从原始的csv格式转为parquet格式
data = pd.read_parquet(file_path_p,columns=columns) #加载特定column

data['Timestamp_day'] = data['Timestamp_day'].astype("category") #把数据类型为Object且取值较为有限的列转为Category，以减少内存占用

print(data.dtypes) # 查看各列的数据类型
print(data.memory_usage(deep=True)) #查看各列的空间占用