Simplifying Graph Convolutional Networks

Starry memory

于 2022-06-16 20:00:08 发布

阅读量421

点赞数

文章标签：神经网络深度学习机器学习

本文链接：https://blog.csdn.net/doswynkfsw/article/details/122559695

版权

"SGCN（Simplifying Graph Convolutional Networks）是GCN的一种简化形式，它提出GCN的关键在于邻近节点特征的聚合，而非非线性激活函数。通过删除非线性激活并保留最终的归一化操作，SGCN构建了一个线性模型。模型通过折叠邻接矩阵来表示，并用softmax函数进行分类输出。SGCN的表达式为Y^SGC=softmax(A~KXW){f{hatY}

摘要由CSDN通过智能技术生成

背景

对图神经网络的简化，WU F, ZHANG T, JR. A H S, et al Simplifying Graph Convolutional Networks. ICML

模型

SGCN (Simplifying Graph Convolutional Networks)是图神经网络的简化。 SGCN指出图神经网络对特征进行邻近节点聚合后相当于多层线性感知机。多层神经网络目的是通过拟合非线性函数划分不同的数据类别。SGCN假定非线性不是GCN层之间的关键，认为GCN最关键的是对于邻居特征的聚合操作。因此SGCN 删除GCN层之间的非线性激活函数，保留最终特征的归一操作，得到线性模型。表示为模型可学习的参数。 ${\bf{\tilde A}} = {{\bf{\hat D}}^{^{ - \frac{1}{2}}}}{\bf{\hat A}}{{\bf{\hat D}}^{^{ - \frac{1}{2}}}}$ ， ${\bf{\hat A}} = {\bf{A}} + {\bf{I}}$ ， ${\bf{I}}$ 表示单位矩阵。
${\bf{\hat Y}} = {\rm{softmax}}({\bf{\tilde A}} \cdots {\bf{\tilde A\tilde AX}}{\begin{matrix}{{}{}} {\bf{W}} \end{matrix}^{(1)}}{\begin{matrix}{{}{}} {\bf{W}} \end{matrix}^{(2)}} \cdots {\begin{matrix}{{}{}} {\bf{W}} \end{matrix}^{(k)}})$

将 ${\bf{\tilde A}} \cdots {\bf{\tilde A\tilde A}}$ 进行折叠，改写为 ${{\bf{\tilde A}}^K}$ ，最终 ${{\bf{\hat Y}}_{{\rm{SGC}}}}$ 被表示为:

${{\bf{\hat Y}}_{{\rm{SGC}}}} = {\rm{softmax}}({{\bf{\tilde A}}^K}{\bf{X}}\begin{matrix}{{}{}} {\bf{W}} \end{matrix})$
${{\bf{\hat Y}}_{{\rm{SGC}}}}$ 表示SGC最终的分类输出结果， ${\rm{softmax}}( \cdot ) = \frac{{{e^{{x_i}}}}}{{\sum\nolimits_i {{e^{{x_i}}}} }}$