论文《Convolutional Matrix Factorization for Document Context-Aware Recommendation》阅读笔记

摘要：

用户对项目评分数据的稀疏性是导致推荐系统质量下降的主要因素之一。 为了处理稀疏性问题，已提出的几种推荐技术额外考虑了辅助信息以提高评分预测的准确性。 特别是当评分数据稀疏时，基于文本建模的方法通过额外利用文本数据（如评论，摘要或简介）提高了准确性。但是，由于词袋模型的固有局限性，它们难以有效地利用文档的上下文信息，这导致对文档的理解很浅显。本文提出了一种新颖的上下文感知推荐模型，即卷积矩阵分解（ConvMF），该模型将卷积神经网络（CNN）集成到概率矩阵分解（PMF）中。 因此，ConvMF可以捕获文档的上下文信息，并进一步提高评分预测的准确性。我们在三个真实数据集的评估表明，即使评分数据极为稀疏，ConvMF的性能也远优于最新的推荐模型。我们还证明了ConvMF成功捕获了文档中单词的细微上下文差异。 具体实现和数据集可在此获取 http://dm.postech.ac.kr/ConvMF。

关键词：协同过滤，文本建模，上下文信息

1 介绍

        电商服务中用户和物品数量的爆炸式增长增加了用户对物品评分数据的稀疏性。而稀疏性导致了传统协同过滤技术的评分预测准确性降低。为了提高准确性，已提出的几种推荐技术不仅考虑评分信息，还考虑辅助信息，例如用户人口统计，社交网络和物品描述信息。最近又提出了提出了基于文档建模的方法（例如，潜在狄利克雷分布模型（LDA）和堆叠降噪自动编码器（SDAE））的方法来额外利用项目描述文档，例如评论，摘要或简介。wang等人提出了以概率方法结合主题建模（LDA）和协同过滤的协同主题回归模型（CTR）；CTR的变体也将LDA集成到协作过滤中，以使用不同的集成方法来分析项目描述信息。最近，Wang等人提出了将SDAE模型集成到概率矩阵分解（PMF）中的协同深度学习（CDL）模型。从而在评分预测精度方面产生了更准确的潜在模型。

        但是，现有的集成模型不能完全捕获文本信息，因为它们假设词袋模型忽略了文档的上下文信息，比如周围单词和单词顺序。例如，假设文档中给出以下两个句子：“people trust the man.”,  “people betray his trust fifinally.” 由于LDA和SDAE认为该文档是一整套专有词，因此它们无法区分每次出现的“trust”一词。准确地说，尽管每次出现的“trust”似乎都具有几乎相同的含义，但在语法上有细微的区别，一个是动词一个是名词。文本之间的这种细微差异也是深入理解文本的重要因素，而进一步的理解有助于提高评分预测的准确性。为了解决上述问题，我们利用了卷积神经网络（CNN），这是最先进的机器学习方法，它在各个领域（例如计算机视觉，自然语言处理（NLP）和信息检索）中均表现出了很好的效果。CNN有效地通过建模组件如局部感受野，共享权重，下采样来捕捉图像或文本的局部特征。 因此，CNN的使用有助于更深入地理解文本，并且比LDA和SDAE产生更好的潜在模型，尤其是对于由于缺乏评分而诉诸其描述文档的项目而言。此外，CNN能够利用预训练的词嵌入模型（例如Glove）来更深入地了解项目描述文档。 请注意，LDA和SDAE无法采用预先训练的词嵌入模型，因为它们采用了词袋模型。

        但是，现有的CNN不适合推荐任务，因为它们的目标与推荐任务的目标不同。 具体地说，常规的CNN主要解决分类任务，即预测单词，短语或文档的标签。 相反，推荐的目的被视为旨在准确逼近用户对项目评分的回归任务。 因此，现有的CNN无法直接应用于我们的推荐任务。

        为了解决该技术问题，我们提出了一种文档上下文感知推荐模型，即卷积矩阵分解（ConvMF），该模型利用卷积神经网络（CNN）捕获项目描述文档的上下文信息，从而进一步提高了评分预测的准确性。准确的说，ConvMF将CNN无缝集成到PMF中，这通常可用于推荐任务。 因此，集成模型遵循推荐任务的目标，并最终有效地利用了协同信息和上下文信息。 最终，即使评分数据非常稀疏，ConvMF仍可以准确地预测未知的评分。

        为了证明ConvMF的有效性，我们在三个不同的真实数据集上评估了ConvMF。 我们对评分数据集的各种稀疏性进行的广泛实验表明，ConvMF的性能明显优于最新模型。 ConvMF的优越性证明，即使评分数据极为稀疏，ConvMF仍会生成可有效反映项目描述文档上下文信息的项目潜在模型。 我们还定性证明ConvMF确实捕获了文档中单词的细微上下文差异。 此外，我们研究了预训练词嵌入模型是否有助于提高ConvMF的评分预测准确性。
除了我们的实现和数据集外，还可以在http://dm.postech.ac.kr/ConvMF上获得详细的实验结果。

全文我们做出了以下贡献：

       1 我们解决了基于词袋模型的方法的局限性，并开发出一种新颖的文档上下文感知推荐模型（ConvMF）。

       2 为了利用评分和项目描述文档，我们从概率角度将CNN无缝集成到PMF中。

       3 我们在三个具有定量和定性结果的真实数据集上展示了ConvMF优于最新模型的优势。

        本文的其余部分安排如下。 第2部分简要回顾了最具代表性的协同过滤技术和CNN。 第3部分是ConvMF的概述，解释了ConvMF的CNN体系结构，并描述如何优化ConvMF。 第4节通过实验评估ConvMF并讨论评估结果。 第5节总结和展望。

2 准备工作

在这一节简要回顾下矩阵分解(MF)(最流行的协同过滤技术)和卷积神经网络(CNN)。

2.1 矩阵分解

2.2 卷积神经网络

3 卷积矩阵分解