卷积的谱方法和空间方法的简单理解

本文探讨了如何将卷积应用于图数据,介绍了谱方法中的L拉普拉斯算子和特征向量在信号处理中的作用。空间方法通过邻接操作简化计算,如GCN的加权平均,而谱方法更侧重于定义空间和卷积核。注意力机制也被提及作为一种替代卷积的手段。
摘要由CSDN通过智能技术生成

首先是卷积的谱方法。

输入是给定一个图或者超图,记作G=(V,E,W),V表示点集,E表示边集,W表示每条边的权重。

由于L拉普拉斯算子是一个半正定的矩阵,那么它可以被L=U\Lambda U^T表示,其中U U^T=I\Lambda是由特征值组成的对角矩阵。

对应每个顶点,可能存在一个向量x,这个x是原始信号,那么\hat{x}=U^Tx就是原始信号在谱域的表达,如果想把谱域中的信号\hat{x}在变回去,只要与U相乘就可以了。

基于以上,对于卷积的定义就能表示为把原始信号x和作为卷积核的信号y投影到谱域中做点积,然后在重新回来,这里利用卷积定理。

这个公式是怎么来的呢,主要是卷积核并不是在原始空间中,而是在谱域里面了,那么就不需要投影了,整个谱卷积就分三步:

  1. 把x投影到谱域中,U^Tx。
  2. 利用卷积核进行运算 g_\theta U^x
  3. 最后回到原始空间中去Ug_\theta U^x

然后再到这个式子,是因为gθ不再是自由参数了,而是受\Lambda控制的,这样就降低了分解L的需求,降低了计算复杂度

空间方法

分三步:1、给定一个节点之后,找到它的邻居。2、给邻居顶个序。3、参数共享。

随机行走:邻居要那么多节点啊,我懒得挑,随机选得了

GCN:每个节点把一阶邻居的特征变换后聚合下就得了,基本没卷积,只是加权平均

注意力:把注意力当成卷积核

值得注意的是,谱方法只是空间方法的特例谱方法需要显示定义空间以及卷积核,而空间方法不需要定义空间,只需要卷积核,空间可以是透明的。

知识图嵌入(Knowledge Graph Embedding)是一种将知识图中的实体和关系映射到低维向量空间的技术。通过将实体和关系表示为向量,可以在向量空间中计算它们之间的相似性和关联性,从而支持各种知识图相关的任务,如实体链接、关系预测和问答系统等。 知识图嵌入方法主要有以下几种: 1. TransE:TransE是一种基于距离的嵌入方法,它假设关系向量是实体向量之间的平移操作。通过最小化实体和关系之间的距离来学习嵌入向量。 2. TransH:TransH是对TransE的改进,它引入了关系特定的超平面来表示关系向量。这样可以更好地处理一对多和多对一的关系。 3. TransR:TransR是另一种改进的距离模型,它通过引入关系特定的投影矩阵来将实体从实体空间映射到关系空间。这样可以更好地捕捉实体和关系之间的语义关联。 4. ComplEx:ComplEx是一种基于复数表示的嵌入方法,它将实体和关系都表示为复数向量。通过复数的乘积运算,可以捕捉实体和关系之间的多样性和对称性。 5. ConvE:ConvE是一种基于卷积神经网络的嵌入方法,它将实体和关系表示为二维矩阵,并通过卷积操作来学习嵌入向量。这样可以更好地处理实体和关系之间的局部依赖关系。 以上是知识图嵌入的一些常见方法,它们各有特点和适用场景。在实际应用中,可以根据任务需求选择合适的嵌入方法进行知识图的表示和分析。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值