基于评论的深度推荐模型综述

基于评论的深度推荐模型综述

摘要

推荐系统因可以为人们提供个性化的推荐而在日常生活中扮演者越来越重要的角色。传统的推荐系统往往利用用户或物品的评分信息，然而在现实场景中这种评分信息一般是比较稀疏的，这种数据稀疏问题会造成推荐性能的下降。因此，许多研究人员尝试使用用户的评论辅助信息去学习用户、物品的表示进一步地弥补数据稀疏问题。现存的方法在利用评论信息构建用户、物品表示时往往存在两种类别的表示，分别是使用用户撰写的和写给物品的全部评论拼接为文档进行表示学习，另一种则是将每条评论单独的建模学习，本文也将以此作为分类，对现存的一些方法进行归纳总结。

简介

随着互联网的发展，各种在线服务层出不穷，如各大电商平台、在线音乐、电影、读书平台。此时，人们在面临众多选择的时候往往难以决策，也可能在所处的数据海洋中找不到自己真正想要的产品。因此，可以一定程度上解决信息过载问题并根据用户喜好生成个性化推荐的个性化推荐系统应运而生并在各大平台得到了广泛的应用。 在关于推荐系统的研究中，协同过滤是一种简单有效的方法，协同过滤依赖于用户物品的交互矩阵，它的基本想法是：在历史数据中展现相似偏好的用户群体在将来也有相似的选择，进一步地，可以根据相似用户的偏好推断目标用户的偏好。然而，在用户面临大量的物品选择时，即使是最活跃的用户也可能只是对一小部分物品进行了交互，因此造成用户物品交互矩阵非常稀疏，数据稀疏问题使协同过滤很难为用户生成准确的推荐[1]。一种解决数据稀疏问题的方法是使用用户的评论文本信息。在很多使用推荐系统的平台，除了评分信息，用户可以为其交互过的物品写评论，评论信息中往往更能反应用户对不同方面的偏好信息和物品的属性信息,如：“这款华为手机性价比高，运行速度快，拍照效果好 ”，对于用户来说，从该评论信息中不仅可以看出用户对手机表达的正面情感，而且可以知道用户对于手机等电子产品可能更加注重性价比，运行速度、拍照效果等方面的表现。对于物品来说，从该评论信息中可知这款华为手机性价比、运行速度、拍照效果方面的属性都不错。最近，一些研究也论证了使用用户的评论文本信息可以提升推荐系统的预测准确度[2-11]。接下来文章也将根据方法对评论的建模方式进行分类，其中包括基于文档级别的和基于评论级别的，基于文档级别的方法是将用户、物品所有的评论信息整合成一个文档进而学习用户、物品的表示，基于评论级别的方法是对每条评论文本进行单独的建模进而学习用户、物品的表示。

基于评论的推荐系统方法

因为评论信息可以更细粒度的刻画用户对于物品的偏好，从评论信息中也可以看出物品的属性信息，因此现存的一些工作利用评论信息学习用户和物品的表示从而进行推荐，在这些工作中DeepCoNN[2]属于第一篇完全使用深度学习的方法对用户和物品的表示进行学习，该方法使用两个并行的网络将用户所写的评论信息整合成文档用于学习用户的表示，将所有写给物品的评论信息整合成对应的文档用于学习物品的表示，之后许多方法在这种文档级别的方法上进行改进[3-8]，然而因为用户留下的评论信息并不一定都是有用的，因此为进一步的使用高质量的评论信息为用户和物品建模，一些方法将每条评论单独的分析并使用评论级别的方法学习其重要性进而更加准确的用于用户和物品表示的构建[9-15]。

基于文档级别的方法

基于文档级别的方法即直接将用户和物品的评论进行拼接整合成一个文档用于学习用户和物品的表示。Zheng等人[2]提出DeepCoNN模型如图1所示，该模型首先将用户所写的所有评论拼接成一个文档作为用户的最初表示，将所有写给物品的评论拼接成文档作为物品的最初表示，然后使用两个并行的网络分别对用户和物品表示进行学习。在Look-up层文档中的每个词被映射为连续的向量表示以抽取评论的语义信息，接下来将得到的向量表示经过多个卷积操作和最大池化操作得到映射后的重要特征，通过全连接层将得到的多个特征进行组合得到用户和物品的最终表示，最后模型将用户物品的向量表示进行拼接形成新的特征后使用FM进行评分预测。Seo等人[3]提出D-Attn模型如图2所示，该模型同样使用文档级别的方法对用户和物品的最初表示进行建模，不同于DeepCoNN的是,在对评论文本向量表示进行卷积和最大池化操作之前，作者分别使用了局部注意力用于学习用户的偏好和物品的属性，使用全局注意力帮助CNN关注于评论文本的整体语义信息，在进行评分预测时，作者借鉴于MF方法，直接将模型学习到的用户和物品的向量表示进行点乘。

Catherine等人[4]指出DeepCoNN在进行训练和测试时将目标用户对目标物品的评论数据考虑在内，然而在现实场景中该信息不应被利用，即在进行评分预测之前并不存在目标用户对目标物品的评论信息，因此作者提出TransNet模型，其模型图如图3所示，该模型构建了源网络和目标网络,目标网络中使用目标用户对目标物品的评论进行建模，通过CNN和非线性激活层之后通过FM进行评分预测，模型使其预测评分和真实的评分尽量接近。在源网络中模型将去除目标评论的其它评论作为最初表示，通过CNN之后将用户和物品得到的表示进行拼接经过多层非线性变换后和用户、物品的ID进行拼接之后通过FM进行评分预测，该步作者同样使预测的评分和真实的评分尽量接近，此外作者使源网络中经过多层非线性映射的用户物品拼接表示和目标网络中经过非线性变换后的目标评论表示尽可能靠近，最后通过最小化三个损失函数进行对应参数的估计。上述方法对于用户和物品的表示都是静态的，在进行用户表示时这种静态编码形式很难捕捉用户的偏好信息，Wu等人[5]提出CARL模型如图4所示，学习基于上下文的用户物品表示学习，在进行用户表示学习时，使用当前目标物品作为上下文，学习和目标物品相关的用户特征，对于物品的表示学习，其形式和用户的表示学习相同。此外，作者使用当前用户和物品的ID信息学习当前用户物品对的交互特征，最后将通过评论得到的特征通过FM，同时将ID特征通过FM，两者通过一个额外系数进行动态的权衡，之后添加用户和物品的偏置信息进行最终的评分预测。

进一步地，Chin等人[6]观察到不同的评论信息具有不同的重要性且不同的用户对于物品关注的属性不同，如一些用户喜欢一家餐馆可能是由于餐馆里的食物比较美味而另一些用户喜欢这家餐馆可能是由于餐馆的氛围比较好，所以从用户的评论中学习用户关注哪些物品的属性信息是很有必要的，作者提出的模型ANR如图5所示，模型将用户和物品的评论信息组成文档后将其中的词映射为连续向量表示，之后作者通过定义的K个Aspect矩阵将用户物品表示进一步的变为在不同Aspect下的表示，作者进一步的使用局部上下文窗口学习Aspect特定表示后不同词的重要性通过加权求和形成Aspect-level用户/物品的表示。为了学习目标用户对于目标物品的动态表示，作者使用Co-Attention构建两者之间的相关性矩阵后使用该矩阵学习不同aspect的重要性，最后使用Aspect表示和Aspect重要性和用户、物品、全局的偏置一起进行评分预测。Cheng等人[7]同样构建了Aspect级别的用户、物品的表示，不同于[6]的是，作者使用主题模型从用户、物品评论中抽取特征并分别和用户、物品的ID融合后动态的选择和目标用户、物品相关的重要aspect构成用户、物品表示后通过多层感知机进行评分预测。Liu等人[8]提出DAML模型如图6所示，其方法和[5]方法类似，作者同时使用了评论和评分信息，评分信息是用户物品ID信息进行映射后的稠密向量表示，评论信息则首先将所有的词使用预训练模型映射为对应的词向量表示后，使用以每个词为中心词，周围词为上下文的形式计算词的局部注意力分数后和原始词进行加权，然后在其基础上进行卷积操作同时计算用户、物品特征之间的互注意力分数，与[4]使用两者乘积方式不同，这里作者使用的为两者之间的欧几里得距离作为相关性分数的表示，经过池化后得到基于评论的用户、物品表示，将其和基于评分的表示相加后将两者进行拼接，通过多个堆叠的全连接层后进行评分预测。

基于评论级别的方法

Hyun等人[9]提出SentiRec模型如图7所示，不同于DeepCoNN,作者构建了两个网络，在第一个网络中作者对每条评论进行单独的卷积和最大池化全连接操作并用于预测当前评论对应的评分信息，作者将其看作是目标用户对于目标物品的情感信息并通过这种方式将情感信息编码进评论向量表示中，经过网络1对每条评论处理之后，在网络2中使用用户所写的评论信息作为用户最初的表示，使用写给物品的评论信息作为物品的最初表示，经过卷积、最大池化、全连接操作后将两者进行点乘获取最终的评分预测。Chen[10]等人认为在使用评论信息学习用户和物品表示时，不同的评论其有用性是不同的，即有些用户的评论中可能信息量很大其内容均是和该物品相关而有的用户评论可能是一些无关紧要的言论，因此作者引入了注意力机制进行评论重要性的判别。作者提出的NARRE模型如图8所示，首先将每条评论单独的输入模型中，使用预训练模型将评论中每个词转换为词向量后使用CNN对其进行卷积操作而后使用注意力机制对每条评论的重要性进行评估并使用得到的注意力分数和对应的评论进行加权求和作为用户、物品通过评论信息得到的最终表示，将其和用户、物品的ID信息求和点乘后通过权重矩阵进一步的变换，最终和全局、用户、物品的偏置信息求和得到目标用户对于目标物品的评分预测。Liu[11]等人认为不同的用户有不同的偏好不同的物品有不同的特征，相同的词或者相似的评论对于不同的用户和不同的物品可能包含不同的信息，因此作者将用户和物品的ID信息融入到NRPA模型的构建中，其模型图如图9所示，具体地，作者将评论集合中的每个词映射为词向量后通过CNN进行卷积操作并将结果与用户、物品的ID通过和对应的矩阵变换相乘后计算不同词的注意力权重以得到和用户相关的词级别的注意力分数将其进行加权求和后作为该评论的表示，接着使用同样的做法在评论级别进行处理得到用户和物品的表示，最后将两者进行拼接并使用FM进行评分预测。Wu[12]等人认为不仅不同的评论在对用户、物品表示时起着不同的重要性，对于评论中不同的句子甚至不同的词其有用程度也不相同，因此作者提出了如图10所示的HUITA模型，作者使用词级别、句子级别、评论级别的三层Attention分别对用户、物品的表示进行学习，之后和用户、物品的ID进行点乘后通过一个非线性函数进行目标用户对目标物品的评分预测。

Tay等人[13]认为先前使用注意力机制的模型仅仅在用户、物品评论内部进行有用性的批判，然而并未考虑对于不同的目标物品来说即使某一评论中包含的信息量很多但如果该评论中表述的物品和目标物品类别相差大，对于目标物品进行评分预测时该评论就没有借鉴意义，如目标物品为餐馆而某一评论为中描述的物品为手机时，对于餐馆进行评分预测时，手机相关的评论信息就无参考价值。因此，作者提出了如图11所示的MPCN模型，该模型主要贡献在于在评论级别和词级别使用Co-Attention，在评论级别作者根据目标物品动态的选择目标用户中的重要评论同时根据目标用户动态的选择目标物品中的重要评论，在进行重要评论选择时作者直接使用硬策略选择1个或者K个重要的评论，在词级别其做法和评论级别的做法相同。在评分预测时作者将两者拼接后通过FM进行预测。Chen[14]等人进一步提出如图12所示的CAML模型，其模型采用了编码-选择-解码三段式结构，在编码阶段，其模型将每条评论独立的处理，将评论中的每个词映射为对应的连续向量后将每个词相加作为该评论的表示。在选择阶段，其做法和[13]中做法类似，区别在于该模型中第二层Co-attention是作用在概念级别而非词级别，概念对应于评论中提及的重要的显式特征词集合，如：“This is a great little comedy with a catchy song” 中comedy和song即为概念。在解码阶段，作者使用基于评论学习到的用户、物品表示一方面用于评分预测，另一方面使用GRU生成推荐对应的解释。

Dong等人[15]认为先前的工作在利用用户所写和写给物品的评论学习用户或者物品的表示时往往采用的是并行或者共享的网络结构，然而，作者认为在现实生活中，用户所写的评论信息中包含用户所购买的许多物品类别，如：衣服，手机，餐馆食物等，因此是异质的内容，与此相反，所有写给物品的评论信息都是针对该物品的，因此是同质的内容，在对两者进行建模时，由于其内容的不同应该使用不同的网络结构，作者提出的AHN模型如图13所示，在学习物品表示时，作者使用了两层的Attention分别得到重要的句子表示评论和重要的评论表示用户，在对用户表示进行学习时，作者不仅使用了两层的Attention，而且在句子级别和评论级别分别利用Co-attention使用同层的物品表示进行指引以学习到和目标物品相关的目标用户表示，作者将通过评论学习到的表示和ID信息拼接后通过FM进行评分预测。

未来方向

Sachdeva等人[16]最近对结合评分和评论的一些模型进行了对比分析后认为评论信息固然有用，但是在进行实验和报告结果时应该将对比实验根据当前的环境调至最优而非直接复制源论文中的实验设置，此外对于评论数目的设置应该有统一的标准且应该符合初衷即评分稀疏场景而非直接保留至少有五个评论或者拥有10条评论的用户。此外，对于辅助信息评论的使用，在前人的工作中有涉及Aspect信息和情感信息的使用，对于Aspect信息的使用，一些作者是直接使用矩阵变换的形式得到或者通过主题模型进行抽取亦或使用一些概念图谱抽取相关的概念，若是将实体抽取中相关的方法引入其中进行改进效果可能会有进一步的提升。对于使用情感信息的模型，前人的工作是直接使用用户、物品的ID信息以表征不同的用户或者物品亦或是直接使用评分信息表示对应的情感信息在模型中对参数进行训练，这些都属于隐式的情感获取方式，之后可以利用情感分析中先进的技术显式的从评论中抽取对应的情感以更好的构建用户或物品的表示。

总结

推荐系统在大数据时代所起的作用不容小觑，在进行个性化推荐时传统的推荐算法往往面临着数据稀疏问题，此时使用用户在相关平台留下的评论信息作为补足信息是很有必要且有帮助的，一方面评论信息可以对用户对于物品的评分信息进行解释，另一方面通过评论信息可以更好的学习用户的偏好信息和物品的属性信息。现存的很多工作也已经证明了利用评论信息的有效性，从这方面工作中可以看到，从开始时利用大而全的所有评论信息，到使用Attention选择重要的评论、句子甚至是词，再到利用Co-attention根据目标选择更加细粒度的评论信息，所构建的模型在逐步改进，在学习用户、物品表示时使用的评论信息在逐步的细化。虽然目前的工作显示的实验结果已经达到了很好的效果，然而其实验设置的条件可能并不符合初衷即数据稀疏的情况，模型对比的方法效果也可能并未达到最优，这点还需进一步的统一。此外，这方面的工作在使用Aspect和情感信息时形式较为单一，如果进一步的改进，效果应该会有所提升。

参考文献
[1]Sun, Zhu, Qing Guo, Jie Yang, Hui Fang, Guibing Guo, Jie Zhang, and Robin Burke. 2019. “Research Commentary on Recommendations with Side Information: A Survey and Research Directions.” ArXiv:1909.12807 [Cs], November.
[2]Zheng, Lei, Vahid Noroozi, and Philip S. Yu. 2017. “Joint Deep Modeling of Users and Items Using Reviews for Recommendation.” In Proceedings of the Tenth ACM International Conference on Web Search and Data Mining - WSDM ’17, 425–34. Cambridge, United Kingdom: ACM Press.
[3]Seo, Sungyong, Jing Huang, Hao Yang, and Yan Liu. 2017. “Interpretable Convolutional Neural Networks with Dual Local and Global Attention for Review Rating Prediction.” In Proceedings of the Eleventh ACM Conference on Recommender Systems, 297–305. Como Italy: ACM.
[4]Catherine, Rose, and William Cohen. 2017. “TransNets: Learning to Transform for Recommendation.” Proceedings of the Eleventh ACM Conference on Recommender Systems, August, 288–96.
[5]Wu, Libing, Cong Quan, Chenliang Li, Qian Wang, and Bolong Zheng. 2017. “A Context-Aware User-Item Representation Learning for Item Recommendation.” ArXiv:1712.02342 [Cs], December.
[6]Chin, Jin Yao, Kaiqi Zhao, Shafiq Joty, and Gao Cong. 2018. “ANR: Aspect-Based Neural Recommender.” In Proceedings of the 27th ACM International Conference on Information and Knowledge Management - CIKM ’18, 147–56. Torino, Italy: ACM Press.
[7]Cheng, Zhiyong, Ying Ding, Xiangnan He, Lei Zhu, Xuemeng Song, and Mohan Kankanhalli. 2018. “A^3NCF: An Adaptive Aspect Attention Model for Rating Prediction.” In Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence, 3748–54. Stockholm, Sweden: International Joint Conferences on Artificial Intelligence Organization.
[8]Liu, Donghua, Jing Li, Bo Du, Jun Chang, and Rong Gao. 2019. “DAML: Dual Attention Mutual Learning between Ratings and Reviews for Item Recommendation.” In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining - KDD ’19, 344–52. Anchorage, AK, USA: ACM Press.
[9] Hyun, Dongmin, Chanyoung Park, Min-Chul Yang, Ilhyeon Song, Jung-Tae Lee, and Hwanjo Yu. 2018. “Review Sentiment-Guided Scalable Deep Recommender System.” In The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval, 965–68. Ann Arbor MI USA: ACM.
[10]Chen, Chong, Min Zhang, Yiqun Liu, and Shaoping Ma. 2018. “Neural Attentional Rating Regression with Review-Level Explanations.” In Proceedings of the 2018 World Wide Web Conference on World Wide Web - WWW ’18, 1583–92. Lyon, France: ACM Press.
[11]Liu, Hongtao, Fangzhao Wu, Wenjun Wang, Xianchen Wang, Pengfei Jiao, Chuhan Wu, and Xing Xie. 2019. “NRPA: Neural Recommendation with Personalized Attention.” Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, July, 1233–36.
[12]Wu, Chuhan, Fangzhao Wu, Junxin Liu, and Yongfeng Huang. 2019. “Hierarchical User and Item Representation with Three-Tier Attention for Recommendation.” In Proceedings of the 2019 Conference of the North, 1818–26. Minneapolis, Minnesota: Association for Computational Linguistics.
[13]Tay, Yi, Anh Tuan Luu, and Siu Cheung Hui. 2018. “Multi-Pointer Co-Attention Networks for Recommendation.” In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 2309–18. London United Kingdom: ACM.
[14]Chen, Zhongxia, Xiting Wang, Xing Xie, Tong Wu, Guoqing Bu, Yining Wang, and Enhong Chen. 2019. “Co-Attentive Multi-Task Learning for Explainable Recommendation.” In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, 2137–43. Macao, China: International Joint Conferences on Artificial Intelligence Organization.
[15] Dong, Xin, Jingchao Ni, Wei Cheng, Zhengzhang Chen, Bo Zong, Dongjin Song, Yanchi Liu, Haifeng Chen, and Gerard de Melo. 2019. “Asymmetrical Hierarchical Networks with Attentive Interactions for Interpretable Review-Based Recommendation.” ArXiv:2001.04346 [Cs], December.
[16] Sachdeva, Noveen, and Julian McAuley. n.d. “How Useful Are Reviews for Recommendation? A Critical Review and Potential Improvements”

原文链接：https://blog.csdn.net/beginerToBetter/article/details/108804429