【推荐算法论文阅读】Collaborative Memory Network for Recommendation Systems

一、简介

本文提出协同记忆网络这一深层结构：它是一种将基于潜在因素模型的全局结构和基于邻域的局部结构，用非线性方法进行统一实现的深度结构模型。在Memory Networks的成功推动下，我们将记忆组件和神经注意机制融合为邻域组件，记忆模块中用户和物品记忆的关联寻址方案将复杂的用户-物品关系与神经注意机制结合起来编码，以学习用户-物品特定的邻域。最终，输出模块联合利用了存有用户-物品记忆的邻域来生成排序分数。集成多个记忆模块作为一个深度结构可以捕捉更加复杂的用户-物品关系。

在信息过载的时代，推荐系统显得十分重要。而在推荐系统中，协同过滤是一种非常受欢迎且有效的方法。协同过滤基于用户和物品的过去交互行为，同时认为相似的用户会消费相似的物品，从而进行推荐。

协同过滤推荐系统可以分为三类：基于内存或者邻域的方法、潜在因子模型和混合模型

• 基于邻域的方法：这也是我们常说的基于物品的协同过滤和基于用户的协同过滤方法。需要先计算用户之间、物品之间的相似度，随后基于计算的相似度进行推荐。(忽略了全局信息)
• 潜在因子模型：常用的就是矩阵分解及其变体。将用户与物品表示成一个大小为nm的评分矩阵，由于评分矩阵是稀疏的，可以将其转换成nk的用户矩阵与k*m的物品矩阵相乘。(忽略了局部联系)
• 混合模型：结合基于邻域的方法和隐含因子模型来强化预测能力。例如因子分解机和SVD++方法
   
  我们提出了一个统一的混合模型，该模型利用了记忆网络和具有隐式反馈的 CF 的神经注意力机制的最新进展。 内存组件允许读写操作来编码内部内存中复杂的用户和项目关系。 关联寻址方案充当最近邻域模型，根据自适应用户项目状态查找语义相似的用户。 神经注意力机制对共享相似偏好的特定用户子集赋予更高的权重，形成集体邻域总结。 最后，局部邻域摘要和全局潜在因素之间的非线性相互作用得出排名分数。 堆叠多个内存组件允许模型推理和推断更精确的邻域，从而进一步提高性能。

二、记忆网络

记忆增强神经网络通常由两个组件组成：一个外部存储器，通常是一个矩阵和一个对存储器执行操作（例如，读、写和擦除）的控制器。记忆组件增加了独立于控制器（通常是神经网络）的模型容量，同时提供知识的内部表示以跟踪长期依赖关系并执行推理。控制器使用基于内容或基于位置的寻址来操作这些存储器。基于内容或关联寻址在给定问题（查询）和一段文本之间找到一个评分函数，通常是内积，然后是 softmax 操作，导致软读取每个内存位置。对内存位置执行软读取允许模型保持差异化，因此可以通过反向传播进行训练。后一种类型的寻址（通常与基于内容的结合）执行顺序读取或随机访问

三、模型结构

3.1 User Embedding

对于预测用户u对于物品i的评分。我们首先会得到历史上所有跟物品i有隐式反馈的用户(邻域)集合，称为N(i)。本文提出联合寻址方案（the associative addressing scheme）作为相似度计算方法：

第一项表示目标用户和评价过物品i的用户之间的兼容性，第二项表示用户v对于向用户u推荐物品i的支持度。

3.2 Neighborhood Attention

本文在CMN框架中融合了注意力机制以给不同的邻居不同的权重。在论文中，注意力的量化是通过以下softmax公式进行实现的：

然后通过注意力机制和用户的external memory(外部记忆)，通过下式构造了一个统一的vector用于表示用户u的邻居对于向用户u推荐物品i的偏好：

C矩阵是user的另一个Embdeding矩阵，用作记忆模块，O的物理意义是user u 在item i 上和对i有行为的其他user 的近似度加权的其他用户表征，Oui 是d唯向量Cv 向量的加权和，是d维向量。

3.3 Output Module

根据用户u，item i 以及评价过item i的所有用户对于向用户u推荐item i的偏好，来预测了用户u对item i的评分排名如下公式：

激活函数为ReLU(线性整流激活函数)，通过参数矩阵U, 对user向量和item向量的点乘结果进行一个线性映射，这相当于矩阵分解的思想，考虑了全局的信息；并且使用参数矩阵W将Oui映射到一个隐含的特征空间中，考虑了局部的相关用户的信息。

3.4 Multiple Hops

图(b)展示的多层堆叠框架是通过不断堆叠图a中的左边的虚线框内容实现的。该模型有机会回顾并重新考虑最相似的用户，从而推断出更精确的邻居。通过将第h层hop的输出作为第(h+1)层hop的输入，将多个内存模块堆叠在一起。
每一个Hop层的输出如公式：

3.5 loss function

利用贝叶斯个性化排序（BPR）优化准则损失函数:训练时每次输入一个正样本得到一个评分，输入一个负样本得到一个评分，希望正样本的得分远大于负样本的得分。

参考资料

Collaborative Memory Network for Recommendation Systems解读