论文笔记（一）：Temporal Network Embedding with High-Order Nonlinear Information

论文笔记（一）：Temporal Network Embedding with High-Order Nonlinear Information

论文标题：Temporal Network Embedding with High-Order Nonlinear Information

会议：AAAI

时间：2020

paper链接：https://ojs.aaai.org//index.php/AAAI/article/view/5993

一、总述：

文章主要研究时间网络嵌入，这是研究时间网络中节点的低维表示形式，从而捕获和保存网络结构和演化模式的一种方法。现有方法存在两个问题，不能保持节点的时间邻近性，从而捕捉网络结构的重要属性，不能表示时间网络的非线性结构。本文提出了一种High order nonlinear information preserving(HNIP)嵌入方法来解决这些问题。

传统静态网络嵌入方法忽略时间交互作用，不能保留时间网络结构。而现有的时间网络嵌入方法难以保持高度非线性的结构。

文章首先提出三个相似度，然后提出一个新的深度引导自动编码器来捕捉高度非线性结构。这个编码器由temporal RandomWalk生成训练集，通过使用特定的小批量随机梯度下降算法训练所提出的深度引导自编码器，可以有效地保持时间网络的时间近似性和高度非线性结构。

 

二、 基础概念与研究问题：

主要挑战：一，Temporal proximity definition，通过时间交互信息来定义节点的时间相似度。二，Temporal proximity preserving，计算成本高。三，Nonlinear structure preserving

 

三、模型

一、 节点时间临近性

本节中定义了一阶、二阶和高阶时间邻近性，以量化节点之间的时间邻近性。基于两个观测，1)相互作用的影响随着时间的推移而减小，如果两个节点之间的相互作用发生在更当前的时间，那么它们之间的联系就会变得更强2)随着交互频率的增加，两个节点之间的联系增加。一阶邻近度：

指数衰减模拟互动随着时间减弱。

由于现实网络通常是稀疏的，许多节点彼此相似，但没有链接。因此定义二阶：

一对节点之间的二阶时间接近描述了这对邻居结构的接近。第二阶时间邻近性的定义基于一个假设，即两个节点有许多共同的邻居，即它们是相似的。定义的一阶和二阶时间邻近性可以很好地保持局部时间网络的特性。为了捕获网络的全局结构属性，我们定义了高阶时间邻近性。

 

二、 High-Order Nonlinear Information Preserving Embedding

TRW：

由于时间网络中的两个节点之间可能存在多条链路，传统的随机游走算法并不适用。为了解决多链路问题和保持高阶时间邻近性，我们提出TRW。

引理证明见paper

 

Deep Guided Auto-Encoder：

TRW生成的路径有两个特点：一是对于大多数情况，两个相邻节点间一定有link，vx接着vy的几率为Pxy，二是路径中的第一个节点一定有到别的节点的路径。输入pi并降低error可以保持二阶，监督component保持一阶和高阶。

损失函数：（notation见paper）

分别建立了三个损失函数，然后将它们组合得到目标函数。二阶：

为了解决现实网络的稀疏性问题，我们对非零元素的重构误差施加比零元素的重构误差更大的惩罚。

需要最小化之间的两两距离每个网络行走路径的所有邻接节点嵌入空间保留一阶时间接近：

需要将路径中第一个节点与嵌入空间中的其他节点之间的成对距离最小化，以保持高阶时间邻近性：

组合：

最优化：

利用小批量随机梯度下降法对这些参数进行优化，使用反向传播算法估计目标函数中参数的偏导数。找到一个好的参数空间区域，加快训练过程，我们采用deep belief network进行预处理。算法复杂度为O(nwtLdI)。

 

四、实验

使用各种网络嵌入方法和HNIP处理四种temporal network。

链接预测和节点分类中，HNIP展现了良好的性能，这是因为结合了时间邻近度和高度非线性结构的能力。网络重构上，静态方法比动态方法好，但HNIP仍展现了不错的性能，它可以保持时间网络结构。

 

五、总结

文章提出了时间网络的嵌入方法HNIP。作者首先定义了三种不同的order的时间邻近性，通过网络历史信息与时间指数衰减模型来量化节点之间的时间邻近性。然后，提出了一种能够捕捉高度非线性结构的深度引导自编码器。同时，利用TRW算法生成深度引导自编码器的训练集。通过使用特定的小批量随机梯度下降算法训练所提出的自动编码器，可以有效地保持时间网络的时间近似性和高度非线性结构。并在四个真实网络上的实验结果表明了该方法的有效性。