论文笔记《A3NCF: An Adaptive Aspect Attention Model for Rating Prediction》

提出问题

   提出了矩阵分解的一些不足之处，用户对物品的一个rate只是用户对其的一个总体评价，缺少可解释性。例如：一个用户对一部手机有较高的评分可能只是因为它的摄像头好或者是电池的续航能力强，但是这并不代表对这部手机的整体有了一个很高的评价。所以说MF并不能实现细粒度的建模。
  基于这个限制，研究者们将目光转向了文本评论，评论中包含了很多丰富的信息，由于深度学习有着很强的提取特征能力，研究者们用它来学习评论中用户的喜好和物品的特征。
  虽然这些方法比起MF有着更好的性能，但是忽略了一点：一个用户在同一方面，对不同的物品的喜好程度或者要求是不一样的。将它定义为同一方面喜好向量。现有的一些方法假定这个向量中所有的元素都是相同的，但是事实不是如此。

提出方案

提出了A3NCF模型，可以准确地捕获用户对不同项目各个方面的关注。在A3NCF中，开发了一个新的主题模型以同时提取用户的偏好和商品的特征。它不同于之前的topic-based method直接利用LDA对评论进行提取项目特征。对于每对用户和物品，从主题模型中学习到的他们的表示随后被用于神经协作过滤网络中，以指导他们最终潜在因素的学习并就此特定方面的各个方面捕获用户的注意力向量 具有关注网络的项目，最后，根据用户和商品的最终潜在因素之间的密切互动来预测未知分数。

先前工作

介绍了两种approaches ：topic-based和deep learning based

Topic based

这些方法的一般方法是使用主题模型或非负矩阵分解从评论中提取潜在主题，并使用MF方法从评分中学习潜在因素，最后潜在特征和潜在的主题会结合到一起，用于最后的评分。

Deep learning based

讲评论作为输入，输入到神经网络中

our model

  可能会出现一种重要的方面能够主导用户对于这个物品的态度，例如NBA球迷会毫不犹豫的买下哈登同款篮球鞋，但是对于其他品牌的篮球鞋，这个球迷就会好好的寻思寻思要不要买。我们认为，抓住用户的注意力很重要，在评估目标对象对项目的态度时，会从中受益。问题在于如何准确地模拟用户对不同项目的注意力权重。用户在写评论的时候，更倾向于在他们关注的特征上去评论，这样我们可以提取出用户的喜好和产品特征，它们之间的交互可以估计用户U和项目I的注意力，用aui表示。

A3Neural Collaborative Filtering

Input part:分为两部分，分别是从评论里提取特征和从用户和项目的one-hot编码中做嵌入。在评论中，topic model应用于提取用户的喜好和项目的特征，分别用θu和 ϕi表示；将用户u或项目i的转换为具有one-hot编码的二值化稀疏向量，然后将其通过嵌入层投影为密集向量。 嵌入层是全连接层，这两部分传入下一个部分。
fusion part融合部分旨在融合嵌入式功能和基于评论的功能，以更好地学习表示.可以应用不同的融合方法，例如串联，加法或逐元素乘积。这里采用了加法。使用ReLU作为激活函数。
Attentive interaction part是这个模型的核心。pu代表用户向量，qi代表物品向量，k代表潜在向量维度，注意力交互部分输出用户项对的表示，用于随后的评级预测。令F = [f1，f2，…，fK]表示用户项对的输出表示，则
那个圈圈代表了逐个元素乘积 又叫哈得玛乘积。我们可以看到 fk = au,i,k · pu,k · qi,k,它表明，对于pu和qi之间每个因子的交互作用，存在一个关注权重au，i，k来捕获项目i的该因子k相对于用户u的重要性，即u对用户方面k的关注。
rating prediction part 讲F喂到一个MLP里面。最终得出一个预测的分数。

Attention Mechanism

介绍注意力机制：
当一个用户对物品某一个特征的喜好程度可以再评论里显而易见的观察到的话，我们就依赖于review-based features来捕获用户U对项目I的各种特征方面的注意力，于此同时，