论文研读（WFCG）Weighted Feature Fusion of Convolutional Neural Network and Graph Attention Network

Weighted Feature Fusion of Convolutional Neural Network and Graph Attention Network for Hyperspectral Image Classification（WFCG）

目录

Weighted Feature Fusion of Convolutional Neural Network and Graph Attention Network for Hyperspectral Image Classification（WFCG）

摘要：

相关工作：

 论文试图解决什么问题？

本文的主要贡献：

两个分类器用来评估 GAT 和 CNN 的特性

WFCG算法详解：

---

摘要：

卷积神经网络（CNN）和图神经网络（GNN）在高光谱图像分类领域取得了优异的性能，但是CNN一直面临数据样本小的问题，GNN则需要很大的计算成本，这限制了这两种模型的性能，本文利用基于GAT和CNN的特征，提出了卷积神经网络和图注意网络（WFCG）的加权特征融合方法

相关工作：

之前提出了多种基于CNN的方法，但是CNN方法面临了两个主要的问题： 1.标签样本的获取并不是很容易，对于有监督的基于CNN的方法，小样本问题突出，容易出现过拟合现象。 2.针对欧几里得数据设计的CNN用于处理规则的空间结构，因此不能很容易地捕捉HSI中不同土地覆盖的内在联系。 为了解决上述问题，图神经网络(GNN)开始引起关注，GNN可以对非欧氏数据进行描述学习，即可以同时对节点特征信息和结构信息进行端到端的表示学习。HSI数据可以通过基于超像素的方法转换为图形数据，然后使用GNN方法可以有效地对光谱-空间上下文信息进行建模。 在后来发展的GCN中，节点之间的权重是固定的，为了动态改变节点之间的权重，提出了一种图注意网络（GAT）模型

网络模型	优点	缺点
CNN	局部连接，权重共享，多层叠加可显著减少参数值，还可以通过分割模块，同时捕获光谱信息和空间信息，在HSI分类领域取得了很大的成就	1.小样本问题突出，容易过拟合 2.针对欧几里得数据设计的CNN用于处理规则的空间结构，因此不能很容易地捕捉HSI中不同土地覆盖的内在联系
GNN	可以对非欧氏数据进行描述学习，即可以同时对节点特征信息和结构信息进行端到端的表示学习。 HSI数据可以通过基于超像素的方法转换为图形数据，然后使用GNN方法可以有效地对光谱-空间上下文信息进行建模。通过这种方式，隐式扩展了标签的数量，在一定程度上缓解了小样本的问题。	灵活性差，扩展性非常差，难以扩展到大规模网络，并且收敛较慢。
GCN 图卷积网络	可以对图数据进行特征提取	不能根据节点重要性分配不同的权重。
GAT 图注意力网络	GAT 采用了 Attention 机制，可以为不同节点分配不同权重,该模型无需预先知道图的结构，也不需要任何代价高昂的矩阵运算，即可为邻域内的不同节点指定不同的权值。	没有充分使用边的特征，只利用到了连接性，即在邻接矩阵中值为1表示有连接，值为0，表示不相连。然而，图中的边通常具有很多信息，例如强度、类型等。并且不仅仅是二进制的变量，可能是连续的、多维的。

 论文试图解决什么问题？

本文根据CNN 和 GNN在 HSI 分类任务中的特点，设计一种融合策略，将它们整合起来，相互学习，以提高 HSI 分类的能力 这个问题如何解决？ 本文基于这两个网络，即CNN和GAT，设计了两个简单的分类器来探索它们的特征，然后提出了CNN和GAT网络的加权特征融合（WFCG）来结合它们的特征。

本文的主要贡献：

为了进一步提高HSI的性能，我们分析了基于超像素的GAT的分类性能，并将其与像素分类的经典CNN进行了比较。结果表明，它们在不同的训练比例数据集中是互补的。 我们通过 CNN 和 GAT 的加权特征融合提出了一种新颖的混合深度学习框架。它使用图形编码器和解码器模块来连接网格和节点，可以更好地结合 CNN 和 GAT 的特征进行 HSI 分类。 为了保证网络输出的稳定性，我们首先通过全连接层和归一化层传递 GAT 特征。此外，为了更好地捕获远程信息和高级特征，我们结合注意力机制来设计卷积网络的分支。 我们在三个著名的 HSI 数据集（Indian Pines、University of Pavia、WHU-Hi-HongHu）上进行的大量实验清楚地表明，WFCG 优于最先进的 CNN 和 GNN，非常适合挑战分类任务。

两个分类器用来评估 GAT 和 CNN 的特性

使用两个经典的高光谱数据集进行分类实验，通过将训练样本的比例从 1% 更改为 6%，GAT 在样本较少的情况下可以保持相当高的准确率，并且随着训练样本大小的增加，GAT 的准确率也会慢慢地增加。然而，CNN 的准确率随着训练样本大小的增加而迅速增加， 这种现象表明CNN网络和GAT网络对样本量的敏感性不同

 

 两种网络的处理模式 CNN用于像素级特征提取，可以通过卷积核单独提取。 CNN 可以提取精细的特征，但这可能导致需要更多的样本进行学习以达到更高的准确度。 GNN的超像素标签由包含最多标签的基于像素的类别确定。当训练样本量较小时，由于超像素的划分，一些未知的标签由超像素的标签确定，然后隐式增加样本数量，从而提高分类精度。当训练样本的大小增加时，选择的标签更有可能集中在一个超像素中。超像素分割方法本身存在一定的误差，限制了精度的进一步提高。

WFCG算法详解：

由于GNN提取的特征分布不同于CNN。直接应用CNN和GNN特征相加可能不能获得最佳的分类性能。本文提出WFCG算法便是解决这个问题

 使用两个 1×1 卷积层来处理原始 HSI 以执行光谱特征压缩和去噪。然后，将输出的光谱特征分别传入两个分支，即分支一和分支二。在分支一中，为了获得稳定的超像素级特征，我们使用多头 GAT 和归一化层来提取超像素级特征，它们之间的连接由图编码器和解码器实现。在分支二中，将处理后的像素级光谱特征传递到 CNN 与注意力模块相结合，以捕获远程深度特征。最后对两个分支得到的特征进行加权融合。分类标签Y可以通过softmax函数分类后得到。

由于GNN只接受图形数据作为输入数据，但模块(a)生成的特征地图排列在标准的矩形网格中。为了解决这个问题，我们采用简单线性迭代聚类(SLIC)将像素分组为具有感知意义的超像素。（这里不太了解） SLiC分割采用k-均值聚类方法生成超像素作为图形节点。图注意使神经网络能够通过选择性地关注不同的节点来学习有用的图表示。 由于超像素包含的像素数不同，我们不能将上述分割方法直接集成到WFCG框架中。于是采用数据转换来实现特征在像素和超像素之间传播

 

 为了更好地利用高光谱像素和通道之间的相关性，作者引入了自注意力机制来构建注意力模块。       位置注意模块可以将更广泛的上下文信息编码为局部特征，从而增强其表示能力       通道注意模块强调相互依赖的特征图并改善特定语义的特征表示。

---

实验部分还没了解