Metric Factorization: Recommendation beyond Matrix Factorization度量因子分解

ABSTRACT
在过去的十年里，矩阵分解已经被广泛的研究并且已经成为个性化推荐最流行的技术之一。虽然如此，在基于矩阵分解的推荐模型中采用的是点积，不满足不等式性质，可能限制其表达能力，导致次优解。为了克服这个问题，我们提出了一种新的推荐技术，我们假设用户和项目可以放置在一个低维空间，利用满足不等式性质的欧氏距离可以测量它们的显式紧密性。为了显示他的效率，我们进一步设计了两个变量，其中一个用于等级估计，另一个用于个性化项目排名。在一些真实数据集上广泛的实验，显示出我们的方法在这两种评级上都远远优于现有的先进的评分预测和项目排序任务。

注：点积关注是向量之间的相似度（角度和大小），三角形不等式关注的是距离

1  INTRODUCTION
      从偏好矩阵的形式中学习低秩的潜在接结构是推荐系统几十年来研究的基石【14,19,28,32】。这部分，矩阵分解是广为人知的【28】，他是很多推荐中评估自己的很收欢迎的方法。专注于内部产品的简单和有效，这一系列的方法已经展示出合理的成功，在诸如the Netflix Prize等著名的高质量比赛中成功参赛，推动了广泛的采用。

       另一方面，依赖于计算和学习度量向量空间中可以作为一个竞争分支[15、37、40]，不仅展示了竞争的简单性，而且也展示了其有效性。反对因式分解模型的一个核心论点是内积违反了三角形不等式，这对于捕获用户和项目之间的细粒度相似性是非常重要的。为此，度量学习方法（主要基于欧几里得距离作为相似性度量）一直被认为更加熟练和富有表现力。

     本文主要研究两种模式之间的衔接。第一次，我们探讨了“分解度量向量空间”的概念，即通过因子分解学习度量空间中的低秩结构。为此，我们提出的因子化度量学习（FML）方法可以解释为包含距离的因子化偏好矩阵，而不是评分。这很容易与标准矩阵分解不同，后者通常通过评分来编码用户项目的相似性。

   The primary motivator behind our approach is to combine the best of both worlds, which consequently, mitigate the inherent weaknesses of each paradigm. 我们的方法的最初动机是将两个最好的联合起来，从而减轻每个范例本来的弱点。更具体的说，与MF有关，简单选择方式能够影响他的性能-内积【13,33】。众所周知，点积不满足三角形不等式【13,33】，限制了矩阵分解的表达，从而导致次优解。细节解释可以在【13,15】中找到，更多的，权威的研究也展示出矩阵分解对于大型潜在向量，容易出现过拟合【13,42】。

    度量学习是近来的协作度量学习（CML）的推广popularized  ，展示出在解决这类问题上的良好性能。但，他有自己有一套问题，像在向量空间中的过度堵塞【37】，当它学习相似度时，我们假设学习集群也可能遭受过度拥挤，导致次优。我们在定性实验（ qualitative experiments）中进一步证明了这一现象。

   为了减轻上面提到的问题，我们提出了一个新颖的方法：分解度量学习（FML）。关键的直觉是将偏好转化为距离，然后用欧几里得距离代替点积。FML从位置和距离的角度考虑推荐问题，直接将距离矩阵分解为用户和项目密集嵌入。它不仅可以避免上述缺点，而且适用于评级预测和项目排序任务。根据估计距离提出建议。因此，这可以解释为分解距离。总而言之，这项工作的主要贡献总结如下：

•        我们提出了一个新颖的方法：分解度量学习（FML）。我们探讨了度量向量空间中低秩结构的概念。在我们的方法中，用户和项目被表示为多维坐标系（即度量向量空间）中的点。在度量空间中定义，基于用户和项目的紧密性进行推荐。然而，与其他度量学习方法不同，我们模型背后的关键新颖之处在于它将度量空间分解。
•        我们指定了FML的两个变体来解决两个经典和成熟的推荐任务：评级预测和项目排名。我们的模型可以有效地学习两种设置中用户和项目的位置。
•        对大范围数据集的广泛实验表明，我们的模型在评级估计和项目排序任务方面都大大优于现有模型。这表明，我们概念上简单的模型具有很高的效果。

 2.背景

 推荐矩阵分解。矩阵分解是项目推荐最有效的方法之一。推荐人任务矩阵分解的最初版本由Simon Funk在Netflix预测竞赛中设计。后来的研究改进了MF并提出了许多变体。例如，Koren等【19】为模拟用户和项目特定功能而引入了用户和项目偏差。Salakhutdinov【28，29】等，将MF解释为概率图形模型，以减轻（alleviate）现实数据集中的稀疏性和平衡性。矩阵分解也可以推广到解决个性化项目排序问题。基于矩阵分解的两个经典的top_N推荐模型是：贝叶斯个性化排序（BPR）[26]和加权正则化矩阵分解（WRMF）[16]。BPR从贝叶斯的角度解决了项目排序问题，其目的是将未观察到的用户项目与观察到的用户项目对远离。WRMF是项目排序的另一种有效方法。WRMF使用隐式二进制反馈作为训练实例，并考虑用户项交互矩阵的所有条目（包括未观察到的条目）。WRMF有一个信值，用于控制负条目和正条目的权重。

推荐的神经模型。如前所述，尽管MF取得了成功，但其性能仍受到点积的限制。为此，我们做了几次尝试来克服这个问题。一种方法是将非线性引入矩阵分解[44，45]。Dziugaite等人[5]通过非线性神经网络模拟用户项目的关系，提出了矩阵分解的神经网络泛化。其基本思想是将非线性激活函数应用于用户和项目潜在因素的元素相关产品。He等[13]遵循这一思想，提出了个性化排序的神经协同过滤（NeuMF）模型。NeuMF由一个广义的MF和一个多层感知器组成。它将一类协同过滤问题视为一个分类任务，以交叉熵损失优化网络。Wu等人[42]提出使用去噪自动编码器引入非线性进行交互建模。将侧边信息与神经网络结合也是可行的[10-12，24，35，36，39，46，47]。尽管如此，这些研究主要集中于克服点积的局限性，我们将边信息建模作为一项未来的工作。有关这一主题的更全面的综述，请参阅[44]。

推荐的度量学习。另一个有希望的尝试是直接采用一个满足三角形不等式公理的度量。协作度量学习（CML）[15]是将度量学习概括为协作学习的一种方法。CML遵循最大边缘最近邻算法（LMNN）的思想[40]。LMNN的目标是估计一个线性变换，以建立一个距离度量，使预期的KNN分类误差最小化