CESM笔记——输出文件剪切

本文介绍了如何通过剪切和合并CESM输出文件中的特定变量,以提高数据分析效率。首先,使用ncks命令剪切出需要的变量如TS和PSL,保留时间信息。然后,利用ncrcat命令将剪切后的文件合并,生成小体积文件便于下载和本地分析。这种方法减少了文件传输时间和读写时间,加快了数据处理速度。
摘要由CSDN通过智能技术生成

CESM输出文件一般存在archive对应的case目录下,包括下面几个子目录

 以大气模块atm为例,

cd atm/hist/

这里我以我的一个目录为例展示一下,每个文件有141M,如果要对比较长时间的数据进行分析,一个常见的做法是把所有文件下到本地再进行处理,但一般超算的文件传输速度并不是很快,所以这样就导致在数据传输上浪费的大量时间,并且由于文件较大,读写的时间也很长。

 

今天介绍一个操作,来提高数据分析效率。

通常我们运行完模式后,可能主要分析的只有其中的几个变量,比如最常见的温度、海平面气压、降水、辐射等。那其实我们就可以把这几个需要的变量从原文件中剪切,合并,再下载。


step1: 剪切

如图1中有两个sh文件,我就是用这个脚本来进行剪切操作。

eg. cut_meto.sh (主要是使用ncks这个命令,不熟悉的可以参考我之前写的一篇

  • 3
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

J同学的大气笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值