JNSKR 基于联合非抽样学习的知识图谱增强推荐 (SIGIR 20 ’)

核心问题：

 现有的KG增强推荐方法在模型学习方面，主要依赖于Negative Sampling(NS) 对KG嵌入任务和推荐任务的模型进行优化。但是由于负采样不健壮（即鲁棒性差不能全面概括），其将一部分未观察到的数据作为负样本进行训练可能会忽略其他有用的例子，丢失大量有用信息，导致训练不足，从本质上说，抽样是有偏的。所以我们有理由认为这些方法不足以捕获用户、项目和实体之间的协作信息。

提出了一种知识图增强推荐(JNSKR)的联合非抽样学习模型。与采样相比，非采样策略计算整个数据(包括所有未观察到的数据)上的梯度，但是其计算代价高。为了解决非抽样效率挑战，首先设计了一种新的高效优化方法来学习KG中的实体嵌入，利用注意机制聚集了项目周围的实体，以学习更准确的项目表征。最后，这两个任务(KG嵌入和推荐)与一个联合学习框架相关联，以同时建模用户、物品和实体之间的细粒度连接。

好处在于：在每次参数更新时都考虑了所有的样本，因此具有有效且稳定的非抽样学习。而且新提出的高效优化算法训练过程更快

（简单来说就是，负采样会丢失大量有用信息，非抽样又会增加计算代价，提出的方法在可控时间内非抽样策略上进行KG增强推荐，其将KG Embedding和recommendation 两个任务进行端到端的联合学习）

具体实现：

Overview of framework：

Input：包含用户行为和物品知识，通过嵌入将其转化为密集向量表示。
项目作为连接联合学习过程的桥梁。
Output：yˆuv是一个预测分数，表明用户u对项目v的偏好。

包含三个组件：

1) KG嵌入部分，通过提出的高效非采样方法学习结构KG信息

2)注意性用户-项目偏好建模部分，通过注意机制推断用户-项目偏好得分;

3)联合学习部分，以端到端的方式集成上述两部分

第一步：有效的非采样知识图谱嵌入：

因为KG嵌入的模型最后的训练是通过损失函数最小化来得到，所以论文的思路是从损失函数开始优化。常见的算法就是预测值与实际值的均方差最小化。论文对正负样本进行权重赋值，经过数学公式推导转化成正样本的损失和全局样本在负样本权重下的损失（因为正样本数已知，计算的瓶颈就在于后者，全局样本的计算量大）

论文选择DistMult模型作为三元组的得分函数，目的是在数学公式层面上将权重值简化为统一的或实体依赖的参数，使三元组中的头尾实体和关系的交互可以正确分离，达到公式中的每个部分相互独立。这样我们就可以提前计算每个部分使最后的计算达到一个加速的效果

（感觉就是想办法将损失函数公式进行拆分，因为需要使用全局的数据，所以变量都相关联的话计算量就非常的大。所以损失函数本来是一个相关关联影响的变量计算，论文转换成相互独立的变量然后可以提前运算，在最终公式计算上就可以实现加速，利用DistMult模型就可以实现这个转换，数学优势而不是从语义上选择这个模型）

这个部分是为了学习知识图谱嵌入表示，为了学习三元组的表示，也是有一个得分函数即DistMult模型，三者可以组成有效三元组为1，无效为0，进行非采样训练学习）

第二步：用户-项目偏好建模：

偏好预测是利用基于矩阵分解的神经框架，使用用户和项目的潜在表示，将两者点积后再乘以一个预测向量得到一个偏好得分。这里对于用户的潜在表示是随机初始化再进行训练，重点在于项目的潜在表示。

对于项目v，其最终表示形式不仅由其自身的决定，而且还受到相邻实体和关系的影响。所以论文定义项目的潜在表示为其自身embedding加上聚合基于注意力的邻居信息。然后同理上述的损失函数进行学习，得到对用户-项目偏好的建模。（就是构建了用户和项目的潜在表示，然后通过矩阵分解进行学习，有交互为1，无交互为0的设定下，进行非采样训练）

第三步：多任务联合学习：

 通过联合多任务学习框架，我们将知识边缘图嵌入部分(即L̃KG (Θ)第一部分的损失函数)和推荐部分(即L̃C F (Θ)是第二部分的损失函数)端到端集成起来。联合的桥梁就是项目。因为项目的潜在表示是由知识图谱中对应实体embedding加上聚合的邻居信息embedding得到。（就是说这样的联合学习可以同时学习到项目v在交互图中的潜在表示和知识图谱中的实体表示，实际上就只在学习知识图谱中的实体表示，因为潜在表示是由实体表示转换而来，这里没有利用实体对齐技术）