WWW2024 | PromptMM:Prompt-Tuning增强的知识蒸馏助力多模态推荐系统

论文：https://arxiv.org/html/2402.17188v1

代码：https://github.com/HKUDS/PromptMM

研究动机

多模态推荐系统极大的便利了人们的生活,比如亚马逊和Netflix都是基于多模态内容进行推荐的。对于研究,人们也遵循工业界的趋势,进行modality-aware的用户偏好的建模。然而,目前的工作主要是将多模态feature引入推荐系统中,这样的做法导致了两个问题:

• 多模态编码器的引入引进了非常多的额外的参数导致了过拟合，因为所输入给模型的是高维度多模态feature。

I1: Overfitting & Sparsity. 当前的多媒体推荐系统通过采用先进的编码器来处理来自预训练提取器（CLIP-ViT、BERT）的高维特征而表现出色。辅助模态缓解了数据稀疏性，但不可避免地导致了增加的资源消耗。例如，关于电子产品（第4.1.1节）数据集的特征提取器，SBERT和CNNs的输出维度分别为768和4,096。它们比当前方法的嵌入维度要大得多，即 𝑑𝑚 ≫ 𝑑。重新训练预训练模型可以改变输出维度，但由于不同的潜在表示和超参数，这将显著影响性能。此外，训练预训练模型需要大量的计算资源，可能需要在多个GPU上花费数天到数周的时间。因此，当前的多模式工作携带额外的高维特征减少层。这些额外的参数加剧了由于数据稀疏性而已经存在的过拟合，进一步增加了收敛的难度。

• side information的引入不可避免地带来了噪声和冗余,这样会导致模态启发的依赖,无法正确反映用户偏好。

I2: Noise & Semantic Gap. 作为附加信息，当使用协同关系来建模用户偏好时，多媒体内容存在固有的不准确性和冗余性。例如，用户可能被文本标题吸引，但图像内容无关；微视频中的音乐可能是为了潮流，而不是用户偏好。盲目依赖噪声模态数据可能会误导用户与项目之间的关系建模。此外，多模态上下文和用户与项目的协同关系最初来自两个不同的分布，存在着较大的语义差距，这给挖掘模态感知用户偏好带来了挑战，甚至破坏了现有的稀疏监督信号。

为了解决这些问题, PromptMM提出通过知识蒸馏的方式简化并强化推荐系统。 而知识蒸馏是被Prompt Tuning所增强的,以为了防止过拟合并得到adaptive的知识。具体地，知识蒸馏进行了模型压缩,通过UI边的关系和多模态节点的关系, 使得老师模型中的这些知识传递到学生当中, 使学生避免了使