《Label informed Attributed Network Embedding》论文解析

本文解析2017年WSDM会议上发表的《Label informed Attributed Network Embedding》论文,介绍了如何将标签属性融入属性网络的表示学习,通过LANE框架,结合DeepWalk, LINE和Node2vec等方法,实现更有效的网络表示。实验表明LANE在节点标签预测任务上表现出优越性能。" 79413356,7429108,Spring Boot 集成 ActiveMQ 教程:配置与消息消费,"['Spring Boot', 'ActiveMQ', '消息队列', '配置', 'Java']
摘要由CSDN通过智能技术生成

本篇论文于2017年发表在第十届ACM子会WSDM(CCF列表B类会议)上的。这是我最近在实验室组会上主讲的一篇论文,因为最近正在研究表示学习算法,当我看到这篇文章的时候感觉问题很新颖,因此对本篇论文进行了研读,所以把我的一些理解记录一下。我将从论文中涉及到的baseline开始介绍,然后在过渡到论文提出的方法,最后对论文的实验和结果进行适当的讨论和介绍。

Baseline

DeepWalk【1】DeepWalk方法主要是将随机游走过程和语言模型进行融合。算法先通过随机游走进行初始节点的采样,然后根据SkipGram算法对采样所得的节点进行其邻居节点概率的计算,使其邻居节点出现的概率最大化,从而学习得到网络空间到向量空间的映射函数。具体算法如图1所示。详细算法请参见文献【1】。


1 DeepWalk算法描述

LINE【2】:LINE算法主要是从网络中节点连接的角度考虑。算法认为除了有直接连边的节点具有高相似性之外,有较多共同邻居节点的节点也有很高的相似性。像图2中节点6和节点7则是因为有直接连边而保持其相似性,节点5和节点6因为共享较多的邻居节点而保持其相似性。因此论文介绍了这两种思想并将其进行融合,在大规模网络的表示学习中表现出较好的性能。具体算法可参见文献【2】。

 

图2 LINE网络实例图

Node2vec【3】Node2vec算法的本质是探索网络中具有相似结构的节点信息(如图3中的节点u和节点S6)以及节点的直接邻居节点的信息(如图3中节点u的邻居节点),即综合节点的考虑局部信息和全局信息。算法主要通过设置参数α将深度优先遍历和广度优先遍历的两种遍历方式进行融合,从而规避单一遍历方式的不全面性,在利用词向量模型将遍历所得的节点进行向量化表示。具体的算法可参见文献【3】

 

3 node2vec算法示意图

Problem Statement

现实世界的网络往往不能单纯的抽象为节点与连边的关系,因为网络节点的固有属性以及网络节点所属的标签属性等因素往往会对网络的表示产生影响。因此,本文主要的研究问题即为将网络节点的标签属性融合到属性网络(由网络的节点信息和节点属性信息构成的网络)的表示学习中去。由此提出了LANE的网络嵌入框架。首先对本文的出现的主要标识字符进行解释,具体如图4所示:

 

4 论文中主要符号标识及定义

LANE框架的目标就是将节点标签Y融合到{G,A}的

Physics-informed network(PIN)是一种结合物理学原理的神经网络模型。传统的神经网络模型主要基于统计数据进行训练和预测,但这种方法对于不充分的数据或者极端情况下的预测效果较差。 而PIN则采用物理学原理作为约束条件来指导神经网络的训练和预测。通过将物理方程和约束条件嵌入神经网络的架构中,使得网络能够理解和遵循物理规律。具体实现时,可以将物理方程拆分为偏微分方程或常微分方程的形式,并将其作为神经网络的一部分。 PIN的优点在于能够在数据有限的情况下提高模型的泛化能力。通过引入物理学约束,可以减少模型的过拟合风险,并对缺失数据进行补充。此外,PIN还能够处理边界条件和不确定性,提高模型的鲁棒性和可解释性。在许多物理问题中,传统方法往往需要手动调整和优化模型参数,而PIN的训练过程更加自动化和高效。 然而,PIN也存在一些挑战和限制。首先,将物理学原理与神经网络结合需要深入理解领域知识和具体物理问题的数学形式。其次,对于复杂的物理问题,需要设计合适的网络架构和优化算法来保证模型的收敛性和准确性。此外,PIN的训练时间也可能相对较长,尤其是在规模庞大的问题上。 总体而言,Physics-informed network是一种有潜力的方法,可以结合数据驱动的神经网络和物理模型,提高模型的可靠性和预测能力。随着深度学习和物理建模的不断发展,PIN在解决实际物理问题和工程应用中具有广泛的应用前景。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值