论文笔记——HDD算法：异构网络中信息扩散的深度学习方法

HDD算法

发表在knowledge-Based Systems上的一篇文章。有许多现实世界的复杂系统与多类型相互作用的实体，可以被视为异构网络，包括人类连接和生物进化。这类网络的主要问题之一是预测信息的扩散，如未来社会事件的发展和演变的形状、增长和规模。信息扩散是网络上被广泛研究的动力学处理方法之一。新闻、创新和病毒等信息从一组种子节点开始，并在整个网络中传播。信息扩散已经在广泛的领域被研究，包括医疗保健、复杂网络和社交网络。网络系统上最重要的任务之一是理解、建模和预测网络主体中的快速事件和演变。该作者关注异构网络，并通过考虑不同的元路径为输入添加权重，提出了一种新的元路径表示学习方法HDD（Heterogeneous Deep Diffusion）。

算法的总体框架：

1 背景知识

1.1 元路径以及topic diffusion的目标

给出图 $T_G=A,G$，元路径$P$定义如下。A和R代表了节点和边的类型，元路径一般表示为$A_1{R}_1{A}_2{R}_2...A_{l+1}$。如下图所示，两个作者直接的一条边代表他们之间有一篇论文，多条边则是多篇共同论文。所以，APA 则代表了两个作者 A 之间的论文 P 的元路径。同理，AVA 则是两个作者 A 共同在会议 V 上发表了论文。
而topic diffusion则旨在解决当一个节点$i$在 t 时刻写了论文时，在$t+1$时刻究竟是哪个作者又会写一篇论文的问题。

1.2 级联 Cascade

假设有N个主题，$N=n_i(1<i<N)$。对于每个主题$N_i$，联级$C_i=(u_i,v_i,t_i)$来记录主题$n_i$的扩散过程：作者$v_i$在时间$t_i$引用$u_i$。

如上图，可以表示为$(paper1,t1=0),(paper1,paper2,t2),(paper1,paper3,t3),(paper1,paper4,t4),(paper1,paper5,t5)$。

1.3 LSTM

关于LSTM的讲解，大佬们已经解释的非常清楚了，这里只用截图。

2 提出的方法

2.1 作者（节点）embedding

每一个节点都要用一个向量来表示。这里$q\in R^N，N$是作者的数量，所有的作者都共享一个嵌入张量embedding tensor $M\in R^{N\ast N\ast T_s}，T_s$是时间戳的数量。
如果t1中的两个节点将共同撰写关于特定主题的论文，则最后一列用于输出为1（活动节点），否则被视为0（非活动节点）。

2.2 CNN-LSTM

CNN-LSTM是CNN的特征提取和LSTM的总结提取特征的组合。采用LSTM来聚合特征，使网络能够在由CNN层提取局部特征时考虑到全局结构。

我们的CNN-LSTM模型使用了一个嵌入层（维数为1000），一个5个卷积的一维CNN层，穿插着一个64max池，一个LSTM层（每个门有1000个网络单元），最后，一个乙状激活函数应用于LSTM的输出。

该方法的创新点

1.通过考虑异构网络中不同的元路径，向输入层添加了权重。
2.使用了深度表示学习，它可以自动从异构网络中的每个节点中提取总结的特征。