基于分数阶Gabor卷积网络的多源遥感数据分类

HSI具有光谱分辨率高、带宽窄、信息量大等特点，能够分辨和探测地面目标，具有很强的诊断能力。但其对象间较差的空间对比度限制了其在空间特征表达方面的性能。

LiDAR数据在不同高程的物体之间具有清晰的边界，并且在具有相同高程的真实的物体内部具有均匀的区域。

与单源遥感影像的语义标注不同，一个有效而准确的联合分类算法通常依赖于来自不同传感器的空间、光谱、高程和纹理信息的联合建模。

由于遥感场景中目标的差异性，并不是某一类中的所有目标都具有相同的形状而不发生任何方向上的变化。传统的2-D卷积运算可以从图像中提取空间信息。但在感受野固定的情况下，提取的特征是单尺度的，缺乏方向性描述。将不同频率和不同方向的Gabor核与神经网络相结合，使神经网络能够获得多尺度和多方向描述的特征。

Gabor算子与神经网络相结合可以有效提高分类性能，但仍难以处理场景组成、物体间相对位置、大气效应、材质混合等局部语义变化。但是分数阶Gabor核可以提取具有不同chirp率的多尺度信息的语义变化特征。随着分数阶的变化，图像信号的能量集中在不同的尺度上。

因此论文中提出的FGCN考虑了语义块形式的空间结构、纹理和高程信息，以及土地覆盖的详细光谱特征。论文中以HSI和LiDAR采样数据集为例。

论文中提出的FGCN分类框架分为三部分：

1. 多元数据融合层---Octave卷积层

2. 特征提取层---分数阶Gabor卷积层

3. 分类层

第一层

Octave卷积

Octave卷积的主题思想来自于图片的分频思想，首先认为图像可进行分频：

• 低频部分：图像低频部分保存图像的大体信息，信息数据量较少

• 高频部分：图像高频部分保留图像的细节信息，信息数据量较大

卷积核参数分配的问题：

OctConv卷积的做法是将低频通道的长宽各缩减一半，即低频分量的空间分辨率减半，然后分两组进行conv，两组频率之间会通过上采样和下采样进行信息交互，最后再合成原始特征图大小

简单的特征拼接或堆叠操作极易受到冗余信息堆叠的影响，文章首先使用Octave卷积层将输入图像分解为多分辨率表示，即低频和高频两部分，这使得更容易减少空间冗余。

Octave卷积层分离HSI和LiDAR图像两者的高频分量和低频分量（从空间方面）。虽然Octave卷积输出的低频分量中的冗余减少，但是与普通卷积网络相比，低频分量的压缩可以进一步减少参数量和计算复杂度。尽管在高频和低频分量中仍然存在冗余，但是卷积的效率得到了提高。

论文中设计了3个Octave卷积层，将输入的HSI和LiDAR数据分解为Xh = {XHh，XLh}和Xl = {XHl，XLl}两个分量，降低了低频分量的冗余度，融合了频率特征，得到了紧凑、有区别的输出。

α ∈ [0，1]表示分配给低频部分的通道的比率。

三层Octave卷积设计的目标是有效地处理低频和高频的对应频率分量，并且还实现多个源的有效融合或频率间通信。

第二层

分数阶Gabor变换（FGT）

Gabor小波可以在不同的波长参数下表现出不同的尺度和方向，这可以被看作是高斯函数和正弦平面波的乘积。

其中m，n表示Gabor滤波器的大小，θ表示高斯函数的旋转，α，β表示高斯函数的锐度。

Gabor小波根据空间位置和频率内容对数据进行分解。然而，复杂场景包含具有不同频率变化率的语义变化。Gabor核可以提取不同方向和尺度的语义变化，而分数傅里叶核可以将这种能力扩展到具有不同频率变化率的语义变化。空间域和频率域（分数域）之间的特征包含了显著的局部语义变化信息。

FGT用于调制CNN卷积核，CNN卷积核被设计用于提取具有多个chirp率的多尺度和多方向特征。

是2D分数核，其中是水平和垂直分数变换阶数，是高斯函数的旋转角。

离散FGT可以表示为：

其中U、V是分数域中的样本数，T1、T2是采样间隔，M、N是输入图像的大小。

为了解释包含语义变化的复杂场景，FGT矩阵被用来调制CNN核。调制后的FGC核在每个卷积层具有不同域和方向性的特征。

FGC有三层，每层有四个分支。FGC核通过用分数Gabor滤波器调制经典CNN核来定义为

表示第o个输出通道的第i个调制FGC核，表示原始卷积核，表示px,py分数域中具有分数频率u,v和方向

对于CNN核的每个通道，使用2-D FGT矩阵来调制权重矩阵。则分数卷积层为

第一FGC层的输入特征是在数据融合中计算的Y，输出是下一层的输入。为此，FGC特征、、被连接以获得FGC特征。

用不同阶分数变换获得的示例数据的特征可视化：

第三层

为了减少卷积层变深期间的信息损失，前三层被级联以获得谱特征Y_spec

通过Octave卷积得到HSI图像的光谱特征Y_spec和融合特征的FGC特征Y_Gabor

综合特征通过加权组合为

最终的联合特征被馈送到两个卷积层和softmax分类层以预测概率分布

其中y（u，v）是像素标签，N是类的数量。这样就可以得到最终的标记结果R。

Octave Convolution 参考博客：

1. http://t.zoukankan.com/fydeblog-p-11655076.html

2. https://blog.csdn.net/weixin_44546360/article/details/89857182