CESM输出文件一般存在archive对应的case目录下,包括下面几个子目录
以大气模块atm为例,
cd atm/hist/
这里我以我的一个目录为例展示一下,每个文件有141M,如果要对比较长时间的数据进行分析,一个常见的做法是把所有文件下到本地再进行处理,但一般超算的文件传输速度并不是很快,所以这样就导致在数据传输上浪费的大量时间,并且由于文件较大,读写的时间也很长。
今天介绍一个操作,来提高数据分析效率。
通常我们运行完模式后,可能主要分析的只有其中的几个变量,比如最常见的温度、海平面气压、降水、辐射等。那其实我们就可以把这几个需要的变量从原文件中剪切,合并,再下载。
step1: 剪切
如图1中有两个sh文件,我就是用这个脚本来进行剪切操作。
eg. cut_meto.sh (主要是使用ncks这个命令,不熟悉的可以参考我之前写的一篇