图卷积神经网络笔记——第三章:空域图卷积介绍之过平滑现象及解决方法(2)

上一小节: 链接.
上一小节介绍了空域卷积中比较典型的4种模型,接下来介绍空间域图卷积局限性分析——过平滑现象

一、图卷积神经网络回顾

在这里插入图片描述
在这里插入图片描述
由于上面缺点的存在,使得谱域图卷积不能实际使用,而造成这种缺点的原因是正交基 U U U,那么能不能找到另外的基来代替呢?下面来看:
在这里插入图片描述
为什么使用切比雪夫k阶多项式模拟卷积操作,这个k就代表k阶近邻呢?原因是因为K阶切比雪夫多项式需要对图拉普拉斯矩阵进行K次乘法计算,而图拉普拉斯矩阵表示的是图的一阶近邻关系,K次乘法下的图拉普拉斯矩阵表示图的K阶近邻关系,所以k阶可以代表邻居的阶数。
在这里插入图片描述
对于第一步就是 A ~ = A + I \tilde A=A+I A~=A+I,就可以做到节点添加自连接边。

对于第二步——局部空间信息融合可以这么理解:先不用管 D ~ − 1 / 2 \tilde D^{-1/2} D~1/2,那实际上就是 y = A ^ x y=\hat Ax y=A^x A ^ \hat A A^代表了图上节点的连接情况,这个就是说图卷积就是改进后的邻接矩阵乘以输入节点的特征。邻接矩阵乘以输入节点的特征为什么就特征融合呢?看下图:
在这里插入图片描述
看到了没,乘完之后每个节点可能会把其他节点的特征加进来,所以叫特征融合。

对于第三步——归一化:这里的 D ~ − 1 / 2 A ~ D ~ − 1 / 2 \tilde D^{-1/2}\tilde A\tilde D^{-1/2} D~1/2A~D~1/2就是对A归一化,至于为什么两边乘以一个矩阵的逆就归一化了?这里需要复习到矩阵取逆的本质是做什么。
我们回顾下矩阵的逆的定义,对于式子 A ∗ X = B A*X=B AX=B ,假如我们希望求矩阵 X X X,那么当然是令等式两边都乘以 A − 1 A^{-1} A1 ,然后式子就变成了 X = A − 1 ∗ A ∗ X = A − 1 ∗ B X=A^{-1}*A*X=A^{-1}*B X=A1AX=A1B
举个例子对于,单个节点运算来说,做归一化就是除以它节点的度,这样每一条邻接边信息传递的值就被规范化了,不会因为某一个节点有10条边而另一个只有1条边导致前者的影响力比后者大,因为做完归一化后者的权重只有0.1了,从单个节点上升到二维矩阵的运算,就是对矩阵求逆了,乘以矩阵的逆的本质,就是做矩阵除法完成归一化。但左右分别乘以节点 i i i, j j j度的开方,就是考虑一条边的两边的点的度。
在这里插入图片描述
这里的 A ^ = D ~ − 1 / 2 A ~ D ~ − 1 / 2 \hat A=\tilde D^{-1/2}\tilde A\tilde D^{-1/2} A^=D~1/2A~D~1/2

看到这里其实是很迷惑的,因为前面我们讲了 Y = A ~ X W Y=\tilde AXW Y=A~XW是谱域卷积模型GCN的公式,但是怎么又成了空域图卷积?其实GCN这个模型就是从谱域到空间域的过度,是很重要的一个模型,具有奠基性的作用,既是空域又是谱域。这么说吧,谱域图卷积是空域图卷积的特例,也就是说当我们能将图卷积表达成显式的公式的时候,我们通常就叫这种模型为谱域图卷积,而没有显式地公式的图卷积一般叫空域图卷积,关于这个可以参看沈华伟老师的报告:图卷积神经网络-沈华伟: https://www.bilibili.com/video/BV1ta4y1t7EK.

GCN用于图半监督学习,论文:Semi-Supervised Classification with Graph Convolutional Networks

二、空间域图卷积局限性分析

在这里插入图片描述
在这里插入图片描述
这里的 A ^ = D −

  • 9
    点赞
  • 45
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值