论文阅读记录

论文阅读：Attention Multibranch Convolutional Neural Network for Hyperspectral Image Classification Based on Adaptive Region Search（基于自适应区域搜索的多分支卷积神经网络用于高光谱图像分类）

创新点

1、存在问题：

如图（a）所示，由黑色虚线标记的较小空间窗口提取的分类上下文信息不足，而由蓝色虚线标记的较大空间窗口包含来自不同类别的一些样本。在这种情况下，黑色实线标记的空间窗口是更好的选择。因此，空间窗口的自适应大小对于分类是必要的。在图（b）中，分类样本位于异质区域。如图(b)所示，当分类样本位于空间窗口的中心时，无论空间窗口的大小如何选择，都会有一些不同类别的样本。在这种情况下，需要自适应地调整分类样本在空间窗口中的位置。在图（c）中，选择了三个不同大小和位置的空间窗口来表示分类样本。尽管这些空间窗口之间存在一些重叠，但这些空间窗口可以提供多尺度和多上下文信息。

网络结构

在第一阶段，卷积层和全连接层嵌入到 RS-AMCNN 中，以根据土地覆盖空间分布搜索空间窗口的大小和位置。这些空间窗口用作 RS-AMCNN 不同分支的输入。
下一阶段，将ConvLSTMs添加到RS-AMCNN每个分支的浅层、中层和深层，提取联合空间光谱特征，充分利用不同层之间的互补信息。
最后阶段，注意分支机制允许每个分支自适应地调整其权重。它动态融合多分支特征进行分类。

（1）基于嵌入式网络层的非局部自适应空间窗口搜索

1、每个输入空间窗口的位置和大小都被编码为一个向量（使用卷积层和全连接层获得向量）。
2、为了以反向传播的方式优化向量，将向量转换为掩码。然后，使用非局部候选区域中的掩码生成 m 个空间窗口。（在 HSI 数据集中，有 M 个标记样本）（f是包含多个卷积和池化操作的复合函数，W和b是对应的权重和偏差。 WFC和bFC是全连接层的权重和偏差，g(·)表示其激活函数，非局部候选区域 Qi）

（2）基于 ConvLSTM 和 CNN 的多层空间光谱特征提取

浅层空间光谱特征提取更多细节和边缘信息，而深层空间光谱特征学习更多抽象和语义信息
（ConvLSTM 是通过将 LSTM 中的全连接替换为卷积操作而提出的。它与基于卷积运算的记忆单元 ct 和三个控制门（输入门 it、遗忘门 ft 和输出门 ot）一起工作。）

（3）多尺度和多上下文注意特征提取和分类

在 RS-AMCNN 中，为所有分支生成自适应权重，并与相应分支提取的特征相乘。然后，将这些加权特征连接起来以生成多尺度和多上下文的注意力特征。