JAVA如何通过netcdf包来读取NC文件(多维大数据读取)

下坡用脚刹

已于 2024-01-02 10:25:25 修改

阅读量1.1w

点赞数 8

分类专栏：引用的jar包使用方文章标签： eclipse netcdf

于 2017-12-05 10:39:25 首次发布

本文链接：https://blog.csdn.net/qq_27515289/article/details/78716744

版权

1 篇文章 1 订阅

订阅专栏

1.首先,你需要下载netcdf的jar包.这里给出官网地址,选择合适的下载.
官网地址:
https://www.unidata.ucar.edu/software/thredds/current/netcdf-java/documentation.htm

官网页面下载简介

2.下载好jar包之后,导入eclipse之中
3.开始读取.nc文件

要读取NC文件,首先你需要了解它的结构.它是由一个个多维数组变量组成.简单的来说,就是如下图:
nc文件示例

了解NC文件之后,在进行读取就方便多了

首先,打开文件

NetcdfFile openNC = NetcdfFile.open(filePath);	//filePath:文件地址
Variable n = openNC.findVariable("n")	//"n"这个方法是找到变量名称为n的变量

取数据分为两种,一种是一维数据,一种是多维数据
取一维数据较为简单
例如n为一维数据,那么

 float[] data = (float[]) n.read().copyTo1DJavaArray();

例如n为五维数据,那么

 double[][][][][] data = (double[][][][][]) n.read().copyTo1DJavaArray();

这里需要特别注意,一般多维数据都很大,例如一个四维数据
double[24][32][500][300] 类型的数据需要占据24325003008(double类型占用内存字节长度)个字节
换算为G就是0.85G.
也就是说,如果你一次性把这么多数据全读进数据库,对你的内存压力很大

这里就需要我们一部分一部分的来读取数据了
配置好维度起点,以及相应维度需要取多少条数据.这里需要好好权衡一下,因为频繁进行文件读取很费时间,但是一次性读取太多会造成堆空间溢出.

例如我要读取数据double[24][32][500][300],那么我可以一维一维的读

int[] org = {0,0,0,0};
int[] sha = {1,32,500,300};
double[][][][][] data = (double[][][][][]) n.read(org,sha).copyTo1DJavaArray();

这样,我循环24次就可以将数据全读出来,每次占用内存大小为292Mb,在可接受范围内.
org参数表示每一维的起点,sha表示相应维读取的条数
例如第一次读完后,读取第二次则设置为

int[] org = {1,0,0,0};
int[] sha = {1,32,500,300};
double[][][][][] data = (double[][][][][]) n.read().copyTo1DJavaArray();

最后得到的data数据就是我们需要的.nc文件中的数据

最后的最后,一定一定记得关闭文件.
openNC.close()

关注