论文阅读:Attention Multibranch Convolutional Neural Network for Hyperspectral Image Classification Based on Adaptive Region Search(基于自适应区域搜索的多分支卷积神经网络用于高光谱图像分类)
创新点
1、存在问题:
如图(a)所示,由黑色虚线标记的较小空间窗口提取的分类上下文信息不足,而由蓝色虚线标记的较大空间窗口包含来自不同类别的一些样本。在这种情况下,黑色实线标记的空间窗口是更好的选择。因此,空间窗口的自适应大小对于分类是必要的。在图(b)中,分类样本位于异质区域。如图(b)所示,当分类样本位于空间窗口的中心时,无论空间窗口的大小如何选择,都会有一些不同类别的样本。在这种情况下,需要自适应地调整分类样本在空间窗口中的位置。在图(c)中,选择了三个不同大小和位置的空间窗口来表示分类样本。尽管这些空间窗口之间存在一些重叠,但这些空间窗口可以提供多尺度和多上下文信息。
网络结构
在第一阶段,卷积层和全连接层嵌入到 RS-AMCNN 中,以根据土地覆盖空间分布搜索空间窗口的大小和位置。这些空间窗口用作 RS-AMCNN 不同分支的输入。
下一阶段,将ConvLSTMs添加到RS-AMCNN每个分支的浅层、中层和深层,提取联合空间光谱特征,充分利用不同层之间的互补信息。
最后阶段,注意分支机制允许每个分支自适应地调整其权重。它动态融合多分支特征进行分类。
(1)基于嵌入式网络层的非局部自适应空间窗口搜索
1、每个输入空间窗口的位置和大小都被编码为一个向量(使用卷积层和全连接层获得向量)。
2、为了以反向传播的方式优化向量,将向量转换为掩码。然后,使用非局部候选区域中的掩码生成 m 个空间窗口。(在 HSI 数据集中,有 M 个标记样本)(f是包含多个卷积和池化操作的复合函数,W和b是对应的权重和偏差。 WFC和bFC是全连接层的权重和偏差,g(·)表示其激活函数,非局部候选区域 Qi)
(2)基于 ConvLSTM 和 CNN 的多层空间光谱特征提取
浅层空间光谱特征提取更多细节和边缘信息,而深层空间光谱特征学习更多抽象和语义信息
(ConvLSTM 是通过将 LSTM 中的全连接替换为卷积操作而提出的。它与基于卷积运算的记忆单元 ct 和三个控制门(输入门 it、遗忘门 ft 和输出门 ot)一起工作。)
(3)多尺度和多上下文注意特征提取和分类
在 RS-AMCNN 中,为所有分支生成自适应权重,并与相应分支提取的特征相乘。然后,将这些加权特征连接起来以生成多尺度和多上下文的注意力特征。