论文阅读——多模式推荐系统综述：分类、评估和未来方向

推荐算法可分为协同过滤（collaborative filtering，CF）、基于内容的过滤和混合推荐系统。

协同过滤基于分析和收集用户的历史行为数据，包括历史交互（例如，点击、浏览、购买）和用户偏好（例如，评级）。

基于内容的过滤基于用户的用户简介和项目简介来建议产品。项目是用关键词描述的，用户的个人资料将表达用户喜欢的项目类型。这种方法的主要思想是用户可能会选择他们以前喜欢的类似项目。

混合方法结合了协作过滤和基于内容的过滤的不同技术，以获得更好的结果。

•简介

传统推荐方法的缺点——为了达到更高的推荐准确率，需要大量用户与项目之间的交互。为了解决数据稀疏和冷启动问题，多模态信息被引入推荐系统。

多模态模型能够表示和发现不同模态之间隐藏的关系，并可能恢复单模态方法和隐含交互无法捕获的互补信息。为了将多模态信息合并到推荐系统中，当前的方法是从不同模态中提取特征，然后使用模态融合结果作为辅助信息或项目表示。

•多模态推荐的管道

多模态推荐系统旨在通过多模态特征来学习用户和项目的信息表示。

第一步是从原始数据中提取模态特征。

提取后的特征可以选择在输入层、模型中间层、输出层进行融合。

•特征提取

特征提取的目的是用嵌入以低维和可解释的方式描述模态特征。

模态数据可以通过两种方式使用。

第一种是将预先提取的模态数据传递到模型中，第二种是通过应用端到端学习将原始数据传递到该模型中。

大多数MMRec模型设置遵循第一种方法来使用预提取的特征。不同的模态数据具有模态特定的提取方法。

常用的多模态数据集与使用这些数据集的论文如下：

•模型分类

早期：

矩阵分解与多层感知机(MLP)

目前：

1）引入深度学习，自动编码器、可变式自动编码器；

2）开始使用图卷积网络(GCN)学习每个模态的表示，然后将模态表示和id嵌入融合在一起，作为最终的项目表示。基于GCN结构，研究人员引入了知识图、注意力机制、边提炼等融合方式。

3）预训练和微调

基于矩阵分解的模型

矩阵分解是一种协同过滤方法。利用矩阵分解法将用户-项目交互矩阵分解为两个低维矩形矩阵的乘积。

基于深度学习的模型

1.多层感知机

多模式特征的丰富来源可以代表用户偏好的不同方面。在JRL[69]框架中，使用MLP将不同的信息源投影到统一空间中。学习将多模态特征转为用户和项目嵌入中的权重。
同时，已经使用特征重建损失来学习相关联的用户和项目表示。

[69]Yongfeng Zhang, Qingyao Ai, Xu Chen, and W Bruce Croft. 2017. Joint representation learning for top-n recommendation with heterogeneous information sources. In Proceedings of the 2017 ACM on Conference on Information and

Knowledge Management . 1449–1458.

2.卷积神经网络（CNN）

CNN是一种具有卷积层和池化操作的前馈神经网络，用于处理多模态特征。大多数基于CNN的推荐系统利用CNN来提取特征或通过捕捉全局和局部特征来学习表示。

3.注意力网络

注意力机制是由人类的注意力驱动的。注意力机制模拟