评论文本信息对推荐真的有用吗？SIGIR20论文告诉你答案

目录

• 前言

• 结论

• 实验设置

• 对比方法

• 实验结果

• 讨论

• 写在最后

前言

前段时间分享了一篇《基于评论文本的深度推荐系统总结》的文章，该文系统的总结了近年来利用深度学习技术结合评论文本信息来提高传统推荐性能的方法。根据对评论信息的处理不同，主要分为了基于Document的建模方法和基于Review的建模方法。并且将该类问题梳理成以下流程框架，即通过编码层来从用户/商品评论中抽取用户/商品的有效表示，进而将两者进行融合，最后通过评分预测层来产生预测评分。最后通过大量的实验表明所提出的深度学习方法的合理性与有效性。

然而，评论文本信息对于推荐系统的性能提升真的是有效且合理的吗？是实验设置过程中的取巧还是深度学习框架本身带来的性能提升，这让我们产生怀疑。今年SIGIR2020的一篇文章《How Useful are Reviews for Recommendation? A Critical Review and Potential Improvements》从实验的角度带我们直观的回答了以上问题。

结论

通过调研近年来利用评论信息辅助推荐的工作发现，通常，这些论文认为，既然评论“解释”了用户的评分，那么它们就应该有助于推断预测的评分或是否购买商品。通过研究发现，利用评论信息的方案主要是两种方式，一种是简单的正则化技术，另一种是神经网络方法。通过对实验进行复现，揭示了一些与报道结果中的差异现象。首先，该文尝试进行全面的分析以解决这些歧义，进一步的调查讨论有关用户评论的“重要性”等相关问题。通过这项工作，旨在评估这一领域的发展方向，并鼓励进行有力的实证评估。作者通过设置一系列的实验说明了一些问题，为了一睹为快，所以先给出结论：

• 在数据相对稀疏的数据集上，仅利用偏置的方法（bias-only）和矩阵分解（MF）的MSE相差不大。

• 最近发表的方法（DeepCoNN、NARRE、MPCN等）在大部分数据集上都无法胜过简单的矩阵分解（MF），这与文献中的预期形成鲜明对比。

• 最近发表的基于神经网络的方法（例如NARRE和DeepCoNN ++）能带来效果提升的原因更多的是引入了用户和项目偏差项，而并不是其网络结构本身。

• 与原始设置相比，当隐藏掉评论文本信息时，令人惊讶的是，基于深度学习的方法在性能上产生的变化很小。

实验设置

接下来介绍一下该论文中实验相关的细节，包括对于数据集的选择、文本的预处理以及实现的细节说明。

• 数据集

对于数据集的选择，本文利用了Amazon评论数据中的六类数据（Clothing、Toys、Video、Pet、Baby和Instant Video）和BeerAdvocate数据集。这些数据集中代表着不同的稀疏程度，其中Amazon数据集最稀疏，BeerAdvocate数据集最稠密。并将数据集按照8:1:1的比例划分为训练集/验证集/测试集，其中训练集用来训练模型，验证集用来调整模型超参数，测试集用来测试模型性能。

另外，根据用户-项目交互数量的不同分为了0-core子集和5-core子集。0-core子集表示用户对于项目的交互至少为0个，也即包含冷启动用户；5-core子集表示用户对于项目的交互至少为5个。显然，0-core子数据集的难度更高。

• 文本预处理

按照NARRE论文中的设置，维护了一个50K的常用词的词汇表，不删除停用词。为了提高性能，我们使用Gensim来训练64维的Word2vec向量。为了遵循相应方法的原始实现方式，对于DeepCoNN，我们将用户/项目文档的长度限制/填充为1000个tokens，对于其他方法，我们将每个评论的长度限制/填充为前2个百分位数， 和固定评论数的操作类似。请注意，训练期间，所有测试和验证集的评论均已删除。

• 实现细节

该论文从网上找到对比模型的实现，同时自己也实现了一遍，并从两者的实验结果中挑选最好的结果作为最终结果。另外，为了实验的公平性，在所有方法中进行参数选择，隐特征的维度在[1、4、8、25、50]中搜索，L2正则项在[ 、