基于时空Transformer的社交网络信息传播预测模型
资源下载
chap3 基于时空Transformer的社交网络信息传播预测模型
图1,首先,构造了一个由社交图和动态传播图构成的异构图;然后使用 GCN 从异 构图上学习用户的结构特征;再将用户的时序特征和结构特征分别添加位置嵌入,把添加位置嵌入后 的时序特征作为Transformer 的 Query 集,把添加 位置嵌入后的结构特征分别作为 Transformer的 key 和 Value 集;最后用Transformer预测下一个 转发信息的用户.实验中提出了一个新的残差融合 方式,能够有效融合用户的时序特征和结构特征.
3.1 异构图的构建
图2,在异构图中,需 要为每条边分配相应的权重,用传播图中某条 边出现的次数作为异构图中该边的权重
3.3 时空 Transformer 神经网络
图3,Transformer中的 decoder 层由N层叠加,来进行最后的序列任务预测
- 式(2), 带掩码的多头注意力层:
- 式(7),在经过多头注意力层之后,会使用残差网络来 强化用户特征,Fusion:优化后的残差融合方式
#chap4 实验结果及分析
4.1 对比方法和参数设置
- 与最新的信息 传播预测深度学习方法进行比较
- 利用2个广泛使用的排名指标 Map@k和 Hits@k进行评估
4.4 实验结果
- Table 2、3、4,STT 模型不仅利用社交网络信息, 而且还利用传播图来建模信息传播行为,显著提高了预测性能;
- Tbble 5,STT模型与DyHGCN 模型相比,在Map@k和 Hits@k 方面都优于DyHGCN;
4.5 消融实验
Table 6,STT模型及其变体模型在Twitter、Douban数据集上的消融实验:每一处改进对基线模型都有提升
4.6 参数分析
Table 8、9、10、11,研究了超参数的不同选择对模型性能的影响.