【MMMLP】核心方法解读

此方法用于顺序推荐，和我的研究方向不一样，所以这里只探讨值得借鉴的部分 

abstract：

现有的顺序推荐方法要么不能直接处理多模态，要么计算量大。为了解决这个问题，我们提出了一种新的多模态多层感知器（MMMLP），用于维护多模态序列以进行顺序推荐。MMMLP是一种纯粹基于mlp的架构，由三个模块组成：Feature Mixer Layer， Fusion Mixer Layer和Prediction Layer，并且在效率和效率方面都有优势。

methods：

在本文中，我们提出了一个基于MLP的多模态推荐框架，即MMMLP，可以显式地从各种模态中学习信息。图2说明了MMMLP的体系结构，它由三层组成：Feature Mixer Layer、Fusion Mixer Layer和Prediction Layer。

我们的框架是灵活的，可以包含不同模式的数据，我们在本文中主要关注图像和文本，这是除了项目序列之外最常用的模式类型。如图2所示，使用用户-物品交互历史中的图像、文本和物品序列作为输入，我们引入Feature Mixer Layer，包括三个Mixer模块来提取和处理图像、文本和物品序列信息。

Feature Mixer Layer

Feature Mixer Layer中有三个Mixer模块用于提取图像、文本和项目序列信息。我们首先将多模态原始数据传输到嵌入特征矩阵中。

具体而言，我们将图像加载为特征矩阵，利用预训练模型进行文本编码，并设置项目序列的可训练嵌入。然后，混频器模块处理来自图像、文本和项目序列的三种不同类型的嵌入输入。如图3所示，混合器模块由一