CNN和GCN的对比
GCN的相关paper
Shahraki and Prasad [33] proposed to cascade 1-D CNNs and GCNs for HS image classification.
CNN和GCN级联
Qin et al. [34] extended the original GCNs to a second-order version by simultaneouslyconsidering spatial and spectral neighborhoods.
同时考虑空间和频谱邻域,将原始GCN扩展到了二阶版本。
Wan et al. [35]
performed superpixel segmentation on the HS image and fed it into GCN to reduce the computational cost and improve the classification accuracy
对HS图像进行超像素分割并将其输入到GCN中以降低计算成本并提高分类精度
GCN的瓶颈
- GCN中的邻接矩阵的存在导致高计算成本。
- GCN仅允许全批次网络学习,即一次将所有样本馈入网络。
- 基于GCN的经过训练的模型无法预测新的输入样本
本文的贡献
- 我们以HS图像分类为重点,系统地分析了CNN和GCN(对比)。
- miniGCN的提出,小批量训练,并且可以使用训练后的模型直接推断大规模后加入的样本。
- 开发了三种融合方案:additive fusion, elementwise multiplicative fusion,concatenation fusion,在端到端网络中集成CNN和miniGCNs提取的特征。
GCN回顾
1.图的定义顶点是HSI像素,边是顶点之间的similarities.
2. 邻接矩阵的构造
adjacency matrix
x
i
,
x
j
为
光
谱
特
征
,
σ
为
R
B
F
的
宽
度
x_i,x_j为光谱特征,σ为RBF的宽度
xi,xj为光谱特征,σ为RBF的宽度
L
=
D
−
A
,
D
度
矩
阵
L=D-A, D度矩阵
L=D−A, D度矩阵
symmetric normalized Laplacian matrix
(
L
s
y
m
)
(L_{sym})
(Lsym)
I
i
d
e
n
t
i
t
y
m
a
t
r
i
x
I identity matrix
I identity matrix
4. Graph Convolutions in the Spectral Domain
the eigenvectors of L are identical to the basis functions of F
L的特征向量和F的基函数相同
L 的频谱分解
U
=
(
u
1
,
u
2
,
.
.
.
,
u
n
)
U=(u_1,u_2,...,u_n)
U=(u1,u2,...,un) is the set of eigenvectors of L
U是正交矩阵 ,
U
U
T
=
E
UU^T=E
UUT=E,上式变为:
切比雪夫多项式拟合
g
θ
g_θ
gθ
根据上边的(16)式子得到传播规则
Proposed MiniGCNs
full graph G with |V|=N on the lable set,construct a random node sampler with a budget M (M《 N)
subraphs:
s不仅是第s个子图,也是第s个batch
the graph or adjacency matrix in the obtained batch needs to be reassembled according to the connectivity of G after each sampling.
每次采样后,需要根据G的连通性重新组合获得的批中的图或邻接矩阵。
MiniGCNs Meet CNNs: End-to-End Fusion Networks
additive (A), elementwise multiplicative (M), and concatenation(C )
加法器(A),对应元素相乘(M)和级联(C)