GCN的反向传播推导

GCN的反向传播

1.预备知识

随机梯度下降法根据以下公式更新梯度
$${\theta }_{t+1}={\theta }_t-\alpha \frac{1}{K}\sum _{(x,y)\in {\delta }_t}\frac{\partial L(y,f(x;\theta ))}{\partial \theta }(1)$$
同样的，如果要更新网络中的W，那么就要计算
$$W_{t+1}=W_t-\alpha \frac{1}{K}\sum _{(x,y)\in {\delta }_t}\frac{\partial L(y,f(x;W))}{\partial W}$$
关键是计算其中的$\frac{\partial L}{\partial W}$，而$\frac{\partial L}{\partial W}=\frac{\partial L}{\partial z}\frac{\partial z}{\partial W}$(其中$z$是网络神经元的输出)，把第一项$\frac{\partial L}{\partial z}$

定义为误差$\delta$，那么就可以先求出误差，然后再求第二项$\frac{\partial z}{\partial W}$，再根据$(1)$更新参数。

整个流程大致为：

GCN的反向传播

GCN的前向传播为：
$$Z^{l+1}=P{H}^l{W}^l,H^{l+1}=\sigma (z^{l+1})$$
那么根据以上流程，前馈计算每一层的净输入$z^l$和激活值$a^l$，直到最后一层；然后计算每一层的误差${\delta }^l$:
$${\delta }^l=\frac{\partial L}{\partial Z^l}=\frac{\partial L}{\partial H^l}\frac{\partial H^l}{\partial Z^l}=\frac{\partial L}{\partial Z^{l+1}}\frac{\partial Z^{l+1}}{\partial H^l}\frac{\partial H^l}{\partial Z^l}(2)$$
又因为
$$Z^{l+1}=P{H}^l{W}^l,H^l=\sigma (Z^l)$$
所以$(2)$式为
$${\delta }^l={\delta }^{l+1}{P}^T{W}^l{\sigma }^{\prime }(Z^l)$$
得到误差传播公式以后，根据流程，计算参数的导数$\frac{\partial L}{\partial W^l}=\frac{\partial L}{\partial Z^{l+1}}\frac{\partial Z^{l+1}}{\partial W^l}={\delta }^{l+1}\frac{\partial Z^{l+1}}{\partial W^l}$，所以现在只要计算$\frac{\partial Z^{l+1}}{\partial W^l}$
$$\frac{\partial Z^{l+1}}{\partial W^l}=\frac{\partial (P{H}^l{W}^l)}{\partial W^l}=(P{H}^l{)}^T(3)$$
然后根据求得的参数导数和式(1)更新参数，直到模型错误率不再下降。

式$(3)$证明了，每次计算第$l$层的梯度都要使用到前一层邻居节点的特征。如图

所以随着网络层数的增加，感受野越大，计算复杂度也越大。