python循环读取GRB2逐时次占用内存问题解决

燎原999

于 2024-07-29 10:30:00 发布

阅读量423

点赞数 5

文章标签： python 开发语言

本文链接：https://blog.csdn.net/weixin_42874414/article/details/140764682

版权

源程序：

运行后，内存大量占用且不释放

import xarray as xr
import pandas as pd


# 打开数据集
file_path = "Z_NWGD_C_BEGY_20240725162308_P_RFFC_SPCC-EDA10_202407252000_24003.GRB2"
ds = xr.open_dataset(file_path, engine='cfgrib')

u10_var = ds['u10']

# 遍历时间步
for i, step_slice in enumerate(u10_var['step'].values[:80]):
    # 选择特定时间步的数据
    u10_data = u10_var.sel(step=step_slice).to_dataframe().reset_index()

使用 dask 来处理数据，可以减少内存占用。

pip install dask[complete]

修改后的程序：

内存情绪很稳定

import xarray as xr
import dask.dataframe as dd

# 打开数据集
file_path = "Z_NWGD_C_BEGY_20240725162308_P_RFFC_SPCC-EDA10_202407252000_24003.GRB2"
ds = xr.open_dataset(file_path, engine='cfgrib')

u10_var = ds['u10']

# 遍历时间步
for i, step_slice in enumerate(u10_var['step'].values[:80]):
    # 选择特定时间步的数据
    u10_data = u10_var.sel(step=step_slice).to_dask_dataframe().reset_index()

    # 清除 u10_data 以释放内存
    del u10_data