一、研究背景
本文提出了一种网络表示学习算法:将结构信息和属性信息同时输入深度神经网络,实现非线性特征抽象,相对传统的浅层神经网络语言模型,有较大性能提升。同时作者提出了离散属性信息的处理方式,是本文的贡献之一。
多源信息融合的表示方法主要有以下几种:一、分别建立表示模型,简单拼接作为最终表示向量;二是训练过程中建立联合优化目标函数,实现线性融合;第三种就是作者提到的共同输入深层模型进行特征提取,实现非线性融合。
二、算法细节
先贴模型框架,便于解释:
图1,模型框架
2.1结构信息输入
输入是节点的one-hot表示,(我觉得这个地方是否换成邻接矩阵更好?)
仍然采用node2vec算法思路产生context。定义节点对之间的条件概率如下:
则全局优化函数定义如下: