AERONET 数据处理 - AOD插值（550nm）（附Python代码）

AERONET 数据处理

1. AERONET 数据下载

主要针对AOD数据进行处理，以便与地面站点的验证。AERONET数据下载官网

2. 批量更改后缀

站点数据为文本存取，批量更改文件后缀名为*.txt，便于后续处理。

!#!/usr/bin/python
# -*- coding: utf-8 -*-
import pandas as pd
import numpy as np
import os
import glob
from scipy.optimize import curve_fit
import datetime as dt
import math

# 批量更改后缀名
InputPath=r'G:\AERONET\AOD_Level20_All_Points_V3\AOD\AOD20\ALL_POINTS'
File=glob.glob(os.path.join(InputPath,'*'))
for i in File:
    po=i.replace('.','_')
    newName = po+'.txt'  #修改为目标后缀
    os.rename(i, newName)

结果如下：

3. 合并所需要使用的站点数据

将所需要的站点数据进行筛选放入同一文件夹下，进行站点数据的合并

#合并所需要的站点数据
# InputPath=r'G:\AERONET\AOD_Level20_All_Points_V3\AOD\AOD20\ALL_POINTS'
File=glob.glob(os.path.join(InputPath,'*.txt'))
#df_=pd.read_csv(File[0],header=6,index_col=False,na_values=['N/A'])#index_col=False为去掉第一列作为索引值
dateparse = lambda x: dt.datetime.strptime(x, "%d:%m:%Y %H:%M:%S") #日期的转换
df=pd.DataFrame(columns=['AERONET_Site_Name','Site_Latitude(Degrees)','Site_Longitude(Degrees)','Site_Elevation(m)',
                   'Dates',"Day_of_Year","Precipitable_Water(cm)",'AOD_440nm',"AOD_500nm",'AOD_675nm','440-675_Angstrom_Exponent','Interpolation_AOD_550nm'])#所需要的字段

for i in File:
    aeronet = pd.read_csv(i,header=6, na_values=['N/A'],index_col=False,
                      parse_dates={'Dates':[0,1]},
                      date_parser=dateparse)
    
    aeronet=aeronet.loc[:,['AERONET_Site_Name','Site_Latitude(Degrees)','Site_Longitude(Degrees)','Site_Elevation(m)',
                       'Dates',"Day_of_Year","Precipitable_Water(cm)",'AOD_440nm',"AOD_500nm",'AOD_675nm','440-675_Angstrom_Exponent',]]
    #去除无效值
    aeronet=aeronet.loc[aeronet['AOD_440nm'].map(int)!=-999]
    aeronet=aeronet.loc[aeronet['AOD_500nm'].map(int)!=-999]
    aeronet=aeronet.loc[aeronet['AOD_675nm'].map(int)!=-999]
    aeronet=aeronet.loc[aeronet['440-675_Angstrom_Exponent'].map(int)!=-999]
    aeronet=aeronet.loc[aeronet['Precipitable_Water(cm)'].map(int)!=-999]
    df=pd.concat([aeronet,df],axis =0)   

# df.to_csv(r'E:\Orange\desktop\wins\aeronet\merge.csv')#保存为csv

4. AOD插值 (550nm)

为了卫星能与地面观测值能够进行比较,需要通过波段插值来获550nm通道的AOD值

4.1 Angstrom指数插值方法（Angstrom, 1929）

使用440nm,675nm 通道的AOD，结合440-675_Angstrom 指数，插值550nm AOD,公式如下：

#使用波长指数（440-675_Angstrom）拟合插值550nmAOD

df['AOD_440nm']=df['AOD_440nm'].astype(float)
df['AOD_440nm']=df['AOD_440nm'].astype(float)
df['AOD_675nm']=df['AOD_675nm'].astype(float)
df['440-675_Angstrom_Exponent']=df['440-675_Angstrom_Exponent'].astype(float)
df['Interpolation_AOD_550nm']=df['Interpolation_AOD_550nm'].astype(float)
df['Interpolation_AOD_550nm']=df.apply(lambda x: x['AOD_440nm']*math.pow((550/440), -x['440-675_Angstrom_Exponent']) , axis=1)

df.to_csv(r'E:\Orange\desktop\wins\aeronet\merge.csv',index=False)

4.2 二次多项式插值(Eck et al., 1999)

相对于Angstrom波长指数插值方法，二次多项式插值法可插值出精度更高、更可靠的550nm通道处AOD值。这主要是因为Angstrom波长指数插值方法依赖于气溶胶的荣格尺度分布(Junge,1955)，而通常情况下的气溶胶粒子尺度不遵循这一分布特征(King et al.,1976)，从而导致基于Angstrom波长指数插值方法结果的精度相对较差。

二次多项式插值方法公式：

#使用二次多项式拟合插值550nmAOD

# 定义要拟合的二次多项式函数
def quadratic_poly(x, a0, a1, a2):
    return np.exp(a0 + a1 * np.log(x) + a2 * np.log(x)**2)

# 定义打包函数
def fit_and_compute(df):
    # 提取要拟合的数据列
    x_data = np.array([440, 500, 675])
    y_data = np.array([df["AOD_440nm"], df["AOD_500nm"], df["AOD_675nm"]])

    # 使用curve_fit进行拟合
    params, _ = curve_fit(quadratic_poly, x_data, y_data)

    # 计算x=550时对应的y值
    x = 550
    y = quadratic_poly(x, *params)

    return y

df['Polyfit2_AOD_550nm'] = df.apply(fit_and_compute, axis=1)

#保存为csv
df.to_csv(r'E:\Orange\desktop\wins\aeronet\merge.csv',index=False)

希望以上内容能对大家处理AERONET 数据有所帮助！