论文笔记:Spectral Networks and Deep Locally Connected Networks on Graphs

这篇论文发表在2014 ICLR会议,是第一篇研究将CNN泛化到非欧式空间的论文,参考资料1直接称之为“第一代GCN”。

主要贡献:

将CNN泛化到非欧几里得空间,并提出两种并列的model,分别是基于spatial和基于spectral。

1. Spatial Construction:

进行K层聚类,每一层中又会有若干个“filter”。每层与每层之间的神经元数目是通过聚类而成,将上一层的聚类结果对应为下一层的神经元。如图,第0层有12个节点,经过聚类,第1层有6个节点,第2层仅有3个节点。

Figure 1 展示了节点聚类的过程。

Figure 2 展示了卷积 和 池化的整个过程。

公式2.1 是本文提出的第一类model的卷积公式,Lk是池化,h是激活函数,F为每一层的每一个特征的权值向量。

(此处可以联系到欧式空间中CNN的卷积,池化)

2. Spectral Construction

基于图谱理论来阐述,有关graph spectral的相关知识,见参考资料1。

卷积公式如下所示:

3.扩展补充

spectral methods 和 spatial methods区别:

1.Spectral methods usually handle the whole graph simultaneously and are difficult to parallel or scale to large graphs.

2.Spatial methods directly perform the convolution in the graph domain by aggregating the neighbor nodes’ information. Together with sampling strategies, the computation can be performed in a batch of nodes instead of the whole graph, which has the potential to improve the efficiency

参考资料:

1.从CNN到GCN的联系与区别——GCN从入门到精(fang)通(qi)
https://www.zhihu.com/question/54504471

2.论文笔记之Spectral Networks and Deep Locally Connected Networks on Graphs - BVL的博客 - CSDN博客
https://blog.csdn.net/bvl10101111/article/details/53426226

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 这句话的意思是,使用快速局部谱滤波在图上进行卷积神经网络。在这个过程中,图像被表示为一个图,节点表示像素,边表示它们之间的关系。然后使用谱滤波器来处理这些图像,以便更好地捕捉它们之间的关系。由于使用了快速局部谱滤波器,因此可以有效地减少计算量,并提高计算效率。 ### 回答2: 卷积神经网络(CNN)在计算机视觉领域中被广泛应用,而针对图像上的卷积运算也得到了很好的改进。但是,对于图结构数据,卷积操作却变得更加困难。近年来出现了一些新的关于卷积神经网络用于图结构数据的方法,如基于图卷积网络(GCN)等。本文要介绍的“convolutional neural networks on graphs with fast localized spectral filtering”,即基于图谱的局部快速滤波的卷积神经网络,是另一种针对图结构数据的卷积方法。 传统的CNN通常采用局部的、线性的滤波器来提取图像的空间特征。而对于图结构数据,由于图上两个节点之间的关系是任意的,以及节点的特征不一定是有序的,因此无法直接地应用局部的卷积操作。但是,与图结构数据相对应的,是一个特殊的函数——图谱,它提供了丰富的图结构信息。 图谱(即拉普拉斯矩阵)是一个对称的稀疏矩阵,反映了图结构和节点特征之间的关系。将图谱的特征值和特征向量作为滤波器,就可以将图上的卷积操作转化为图谱卷积的形式。尤其是,利用局部滤波器就可以实现对图上节点嵌入向量的快速计算。 该方法涉及到了图谱嵌入、拉普拉斯矩阵、小批量图谱卷积核的设计等方面的内容。其中,图谱嵌入是将图结构数据映射为一个低维向量表示的过程,具有降维和特征抽取的作用;拉普拉斯矩阵是反应了图结构的一类矩阵,与图谱嵌入有密切关系;在卷积核设计方面,考虑到图结构的多样性和规模,将设计小批量卷积核进行快速的局部卷积操作,以提高计算效率。 该方法的优点在于,可以处理任意结构的图像和非图像数据,并且具有较好的鲁棒性和泛化能力。是否可以进一步提高计算效率,仍需更多的研究来探索。 ### 回答3: 卷积神经网络是一种基于多层神经元的深度学习算法,被用于图像、文本和声音等领域。最近,学者们开始研究如何将卷积神经网络应用于图形数据,如社交网络、交通网络和化学分子。其中,卷积神经网络特别适合处理图形数据,因为它可以学习局部特征,并保持局部空间关系。因此,卷积神经网络在图形任务上取得了许多优秀成果。 然而,之前的卷积神经网络模型存在一些不足,比如缺乏设计可解释性、效率低下、过度拟合等。为了解决这些问题,一种新的基于谱滤波的图形卷积神经网络被提出,即convolutional neural networks on graphs with fast localized spectral filtering。 这种方法在卷积层引入了局部谱滤波器,能够提高模型的效率和可解释性。谱滤波器可以学习图形数据的空间结构特征,能够捕捉节点之间的相邻关系和密度。而局部谱滤波器则针对每个节点的邻居子图进行滤波,使模型能够更好地识别图形数据中的局部特征。 此外,该方法还能够解决过拟合问题。过拟合是神经网络经常遇到的问题,即模型在训练集上表现极佳,但在测试集上表现不佳。谱滤波器可以在输入数据中学习的特征不够显著时,利用图形数据的全局谱信息进行补充,并减少过拟合的发生。 总之,convolutional neural networks on graphs with fast localized spectral filtering是一种高效、可解释、稳定的图形卷积神经网络。此方法在实际应用中有很大的潜力,如社交网络分析、城市交通预测、生物学和化学分子分析等领域。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值