python解析nc气象文件并转成CSV文件

1.数据说明

NetCDF(network Common Data Form)网络通用数据格式是一种面向数组型并适于网络共享的数据的描述和编码标准。目前，NetCDF广泛应用于大气科学、水文、海洋学、环境模拟、地球物理等诸多领域。用户可以借助多种方式方便地管理和操作 NetCDF 数据集。
NetCDF全称为network Common Data Format，中文译法为“网络通用数据格式”；netcdf文件开始的目的是用于存储气象科学中的数据，现在已经成为许多数据采集软件的生成文件的格式。

•从数学上来说，netcdf存储的数据就是一个多自变量的单值函数。用公式来说就是f(x,y,z,…)=value；
•函数的自变量x,y,z等在netcdf中叫做维(dimension) 或坐标轴(axix)，
•函数值value在netcdf中叫做变量(Variables).
一个Netcdf文件的结构包括以下对象：
•变量(Variables) ：变量对应着真实的物理数据。
•维(dimension)：一个维对应着函数中的某个自变量，或者说函数图象中的一个坐标轴，在线性代数中就是一个N维向量的一个分量。
•属性(Attribute) ：属性对变量值和维的具体物理含义的注释或者说解释。

2. 代码

2.1 导包

from netCDF4 import Dataset
import netCDF4 as nc

2.2 查看气象的属性信息

dir = r'D:\FLDAS_NOAH01_C_GL_M.A201901.001.nc'
nf =Dataset(dir)
for attr in nf.ncattrs():
    print('%s: %s' % (attr, nf.getncattr(attr)))

2.3 获取气象文件中所有变量

# 获取nc文件的内部信息
dir = r'D:\FLDAS_NOAH01_C_GL_M.A201901.001.nc'
nf =Dataset(dir)
# 获取文件所有的变量
vars=nf.variables.keys()
print(vars)

2.4 取出各个属性的数据

dir = r'D:\FLDAS_NOAH01_C_GL_M.A201901.001.nc'
nf =Dataset(dir)
# 获取文件所有的变量
vars=nf.variables.keys()
#取出各variable的数据看看,数据格式为numpy数组
for var in vars:
    #读取每个变量的值
    var_data=nf.variables[var][:].data
    print(var,var_data.shape)

2.5 查看某个变量的属性

dir = r'D:\FLDAS_NOAH01_C_GL_M.A201901.001.nc'
nf =Dataset(dir)
time = nf.variables['time']
print(time)

2.6 查看所有变量的属性

dir = r'D:\FLDAS_NOAH01_C_GL_M.A201901.001.nc'
nf =Dataset(dir)
for var in nf.variables:
    print(var, end='\n')
    for attr in nf[var].ncattrs():
        print('%s: %s' % (attr, nf[var].getncattr(attr)))
    print()

2.7 查看某个变量的值

dir = r'D:\FLDAS_NOAH01_C_GL_M.A201901.001.nc'
nf =Dataset(dir)
time = nf.variables['time'][:]
print(time)

2.8 查看气象文件中所有变量的值

dir = r'D:\FLDAS_NOAH01_C_GL_M.A201901.001.nc'
nf =Dataset(dir)
# 获取文件所有的变量
vars=nf.variables.keys()
for var in vars:
    #读取每个变量的值
    var_data=nf.variables[var][:].data
    print(var,var_data)

2.9 取出时间列并转化时间格式

#先获取时间属性
dir = r'D:\FLDAS_NOAH01_C_GL_M.A201901.001.nc'
nf =Dataset(dir)
time = nf.variables['time']
print(time)

#示例
<class 'netCDF4._netCDF4.Variable'>
float64 time(time)
    bounds: time_bnds
    calendar: proleptic_gregorian
    standard_name: time
    units: days since 1982-01-01 00:00:00
unlimited dimensions: time
current shape = (1,)
filling on, default _FillValue of 9.969209968386869e+36 used
#我们可以看到时间的属性有很多参数，其中最重要得是units
parsetime = nc.num2date(nf.variables['time'][:], 'days since 1982-01-01 00:00:00').data
print(parsetime)
#示例:
[cftime.DatetimeGregorian(2019, 1, 1, 0, 0, 0, 0, has_year_zero=False)]
#得到一个时间数组,里面对应的值为年,月,日,时,分,秒,毫秒
#取出对应的值
year = parsetime[0].year
month = parsetime[0].month
day = parsetime[0].day
print(year)
print(month)
print(day)

3.解析成CSV

完整代码

from netCDF4 import Dataset
import csv
import string
import netCDF4 as nf
import datetime

nc = Dataset(r'D:\FLDAS_NOAH01_C_GL_M.A201901.001.nc')
print(nc.variables.keys())

time = nc.variables['time'][:]
# 纬度 latitude
Y = nc.variables['Y'][:]
# 经度 longitude
X = nc.variables['X'][:]
# 风速
Wind_f_tavg = nc.variables['Wind_f_tavg'][:]

#解析出时间
def getDate(time):
    arr = nf.num2date(nc.variables['time'][:], 'days since 1982-01-01 00:00:00').data
    y = arr[0].year
    m = arr[0].month
    return "%(year)d-%(month)02d"%{'year':y,'month':m}

print(getDate(time))

now_time1 = datetime.datetime.now()
print(now_time1)
with open(fr'{getDate(time)}.csv', 'a', newline='') as fp:
    #字段名
    writer = csv.writer(fp, delimiter=',', quotechar='"', quoting=csv.QUOTE_MINIMAL)
    writer.writerow(['time',
                      'Y',
                      'X',
                      'Wind_f_tavg'])
    # 输入经纬度的维数
    for i in range(len(time)):
        for j in range(len(Y)):
            for k in range(len(X)):
                if str(Wind_f_tavg[i][j][k]) not in '--':
                    writer.writerow([getDate(time[i]),
                                     Y[j],
                                     X[k],
                                     Wind_f_tavg[i, j, k]
                                    ])
now_time2 = datetime.datetime.now()
print(now_time2)