Few-Shot Learning with Graph Neural Networks笔记

Few-Shot Learning with Graph Neural Networks 笔记

第一步

输入

T = { { ( x 1 , l 1 ) , … ( x s , l s ) } , { x ~ 1 , … , x ~ r } , { x ‾ 1 , … , x ‾ t } ; l i ∈ { 1 , K } , x i , x ~ j , x ‾ j ∼ P l ( R N ) } \mathcal{T}=\left\{\left\{\left(x_{1}, l_{1}\right), \ldots\left(x_{s}, l_{s}\right)\right\},\left\{\tilde{x}_{1}, \ldots, \tilde{x}_{r}\right\},\left\{\overline{x}_{1}, \ldots, \overline{x}_{t}\right\} ; l_{i} \in\{1, K\}, x_{i}, \tilde{x}_{j}, \overline{x}_{j} \sim \mathcal{P}_{l}\left(\mathbb{R}^{N}\right)\right\} T={{(x1​,l1​),…(xs​,ls​)},{x~1​,…,x~r​},{x1​,…,xt​};li​∈{1,K},xi​,x~j​,xj​∼Pl​(RN)}

其中s为有标签的样本数量，r为无标签的样本数量，t为待分类的样本数量，其中所有x独立同分布。

提取

将输入 $\mathcal{T} $ 转换为全连接图$G_{\mathcal{T}}=(V,E)$ ，其中$v_a\in V$ 代表图片$x$ (包括有标签和无标签的)。

初始化点特征

图$G$ 的初始值通过下式得到
$${\mathbf{x}}_i^{(0)}=\left(\varphi \left(x_i\right),h\left(l_i\right)\right)$$
其中$\varphi \left(x_i\right)$ 是一个CNN，$h(l_i)$ 是独热码。

GNN

边特征

$${\tilde{A}}_{i,j}^{(k)}={\phi }_{\tilde{\theta }}\left({\mathbf{x}}_i^{(k)},{\mathbf{x}}_j^{(k)}\right)={\mathrm{MLP}}_{\tilde{\theta }}\left(abs\left({\mathbf{x}}_i^{(k)}-{\mathbf{x}}_j^{(k)}\right)\right)$$
MLP是多层感知机

图卷积

在其最简单的模型中，给定赋权图$G$的顶点上的输入信号$F\in R^{V\times d}$ ，我们考虑图形本征线性算子的族$\mathcal{A}$，其在该信号上局部地起作用。 最简单的是邻接算子$A:F\mapsto A(F)$其中$(AF{)}_i:={\sum }_{j\sim i}{w}_{i,j}{F}_j$，其中$(i,j)\in E$ ，$w_{i,j}$ 为其相关权重。 GNN层Gc（·）接收信号${\mathbf{x}}^{(k)}\in {\mathbb{R}}^{V\times d_k}$作为输入，并产生$x^{(k+1)}\in {\mathbb{R}}^{V\times d_{k+1}}$
$${\mathbf{x}}_l^{(k+1)}=\mathrm{Gc}\left({\mathbf{x}}^{(k)}\right)=\rho \left(\sum _{B\in \mathcal{A}}B{\mathbf{x}}^{(k)}{\theta }_{B,l}^{(k)}\right),l=d_1\dots d_{k+1}$$
其中$\Theta ={\left\{{\theta }_1^{(k)},\dots ,{\theta }_{|\mathcal{A}|}^{(k)}\right\}}_k$，${\theta }_A^{(k)}\in {\mathbb{R}}^{d_k\times d_{k+1}}$ 为参数， $\rho (\cdot )$是非线性函数，论文中选择Leaky ReLUs

损失函数

$$\begin{array}{l}\min \frac{1}{L}{\sum }_{i\le L}\ell \left(\Phi \left({\mathcal{T}}_i;\Theta \right),Y_i\right)+\mathcal{R}(\Theta )\\ \ell (\Phi (\mathcal{T};\Theta ),Y)=-{\sum }_k{y}_k\log P\left(Y_i=y_k|\mathcal{T}\right)\end{array}$$

其中 $\Phi (\mathcal{T};\Theta )=p(Y|\mathcal{T})$，通过极大似然估计得出预测标签。