论文快读——Personalized Showcases Generating Multi-Modal Explanations for Recommendations

论文快读——Personalized Showcases: Generating Multi-Modal Explanations for Recommendations

个性化展示：生成推荐的多模式解释

摘要

现有的解释模型仅生成推荐文本，但仍难以生成多样化的内容。在本文中，为了进一步丰富解释，我们提出了一项名为个性化展示的新任务，其中我们提供文本和视觉信息来解释我们的建议。具体来说，我们首先选择与用户对推荐项目的兴趣最相关的个性化图像集。然后，根据我们选择的图像相应地生成自然语言解释。对于这项新任务，我们从谷歌地图收集了一个大规模数据集，并构建了一个高质量的子集来生成多模态解释。我们提出了一种个性化的多模式框架，可以通过对比学习生成多样化且视觉一致的解释。实验表明，我们的框架受益于不同的输入方式，并且与以前的各种评估指标的方法相比，能够产生更加多样化和更具表现力的解释。

介绍

作者认为个性化解释生成模型有可能提高建议的透明度和可靠性。先前的工作无法提供多样化的解释，输出中存在大量的一般句子（例如，“食物很好！”），缺乏指导生成的基础信息，如图像。为了进一步多样化和丰富对推荐的解释，作者提出了一个名为个性化展示的新任务（如图 1 所示），通过文本和视觉 信息来解释推荐。

挑战：

1. 构建具有多模态个性化信息的数据集。$⟹$ 构建了一个来自 Google Local Restaurant 的大规模数据集，即 Gest，包括评论文本和相应的图片。然后，为了提高 Gest 的质量，作者对一个小子集进行注释以查找高度匹配的图像-句子对，并训练基于 CLIP 的分类器以从完整数据集中提取视觉感知的解释。
2. 生成富有表现力和引人入胜的文本来吸引用户的兴趣。首先，与以往的任务不同，多个图像和生成文本之间的对齐对信息提取和多模态学习提出了更高的要求。其次，具有交叉熵损失的典型编码器-解码器模型很容易导致训练语料库中经常出现的重复且乏味的句子。

解决：

通过对比输入模态与输出序列，提出了个性化跨模态对比学习（PC2L）框架。作者首先设计一个跨模态损失，通过在输出中使用随机替换的实体构建硬负样本来强制图像和输出解释之间的对齐。受到具有相似历史评论的用户具有相似兴趣的观察的启发，进一步设计了个性化损失，根据历史相似性重新加权负样本。

贡献：

1. 为了生成更丰富的推荐解释，我们提出了一项新任务：个性化展示，可以提供文本和视觉解释。
2. 对于这项新任务，我们从 Google Local 收集了大规模数据集（即地图），并通过预处理和过滤提取了高质量样本。
3. 我们提出了一种用于个性化展示的新颖的多模式框架，该框架应用对比学习来提高生成文本的多样性和视觉对齐。

任务定义

为了更好地研究每种模态并为未来的工作提供基线，在本文中，我们将任务分解为两个步骤，如图2所示：

1. 选择图像集作为与用户兴趣相关的视觉解释；
2. 根据选定的图像和用户的历史评论生成文本解释。

方法介绍

3.1 Personalized Image Set Selection

框架的第一步是选择与用户兴趣相关且多样化的图像集作为视觉解释。作者将此选择步骤制定为具有多模式输入的多样化推荐。

Multi-Modal Encoder. 作者使用CLIP [16]（最先进的预训练跨模态检索模型）作为文本和视觉编码器。

Image Selection Model. 作者使用行列式点过程(DPP)[9]来选择图像子集。与其他单项推荐算法相比，基于 DPP 的模型适用于多图像选择。预测图像集如下：（更多细节看[21]）
$${\hat{I}}_{u,b}=DPP(I_b,u)\text{\hspace{1em}(1)}$$

[16] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. 2021. Learning transferable visual models from natural language supervision. arXiv preprint arXiv:2103.00020 (2021).

[9] Alex Kulesza and Ben Taskar. 2012. Determinantal Point Processes for Machine Learning. Found. Trends Mach. Learn. 5 (2012), 123–286.

[21] Mark Wilhelm, Ajith Ramanathan, Alexander Bonomo, Sagar Jain, Ed H. Chi, and Jennifer Gillenwater. 2018. Practical Diversified Recommendations on YouTube with Determinantal Point Processes. Proceedings of the 27th ACM International Conference on Information and Knowledge Management (2018).

3.2 Visually-Aware Explanation Generation

获得图像集后，目标是根据一组图像和用户的历史评论生成个性化的解释。作者构建了一个以 GPT-2 作为主干的多模态编码器-解码器模型。

Multi-Modal Encoder. 用CLIP的文本和视觉编码器分别提取评论特征和视觉特征，并将其投射到一个潜在空间中：
$$Z_i^V=W_{v_i}^V,Z_i^R=W_{r_i}^R\text{\hspace{1em}(2)}$$
然后使用具有堆叠自注意力层的多模态注意力（MMA）模块，来对输入特征进行编码：
$$[H^V;H^R]=MMA([Z^V;Z^R])\text{\hspace{1em}(3)}$$
Multi-Modal Decoder. 对于多模态 GPT-2，给定目标解释 $Y=y_1,y_2,...,y_L$，每个时间步 $t$ 的解码过程可以形式化为：
$${\hat{y}}_t=Decoder([H^V;H^R],y_1,...,y_{t-1}).\text{\hspace{1em}(4)}$$
交叉熵 (CE) 损失来最大化 $N $个训练样本:
$${\mathcal{L}}_{CE}=-\sum _{i=1}^{N}log{p}_{\theta }(Y^{(i)}|X^{(i)},I^{(i)})\text{\hspace{1em}(5)}$$

3.3 Personalized Cross-Modal Contrastive Learning

本文的任务是使用多个图像作为“视觉提示”来表达个人感受，提出了个性化跨模式对比学习（PC2L）。

首先将图像 $H^V$ 、历史评论 $H^R$ 和目标序列 $H^Y$ 的嵌入投影到潜在空间中:
$${\tilde{H}}^V={\varphi }_V\left(H^V\right),{\tilde{H}}^R={\varphi }_R\left(H^R\right),{\tilde{H}}^Y={\varphi }_Y\left(H^Y\right)\text{\hspace{1em}(6)}$$
其中 ${\varphi }_V、{\varphi }_R和{\varphi }_Y$ 由两个全连接层组成，具有 ReLU 激活和来自最后一个自注意力层的隐藏状态 $H^V、H^R和H^Y$ 的平均池化。通过 InfoNCE 损失，最大化源模态和目标序列对之间的相似性，同时最小化负对之间的相似性。

但是这项任务的一个挑战是要求模型描述一组图像中的多个对象。为了确保多个图像特征和输出文本之间的视觉基础，作者设计了一种新颖的跨模态对比损失。（即，“我喜欢寿司”到“我喜欢汉堡”），这样在训练过程中，模型就会接触到关于图像的实体不正确的样本，与原始目标序列区分开来是很重要的。因此，我们添加 $Y^{ent}$ 的隐藏表示作为额外的负样本 $ent$ 来制定跨模态对比损失：
$${\mathcal{L}}_{CCL}=-\sum _{i=1}^N\log \frac{\exp \left(s_{i,i}^{V,Y}\right)}{\exp \left(s_{i,i}^{V,Y}\right)+{\sum }_{j\in K\cup ent}\exp \left(s_{i,j}^{V,Y}\right)}\text{\hspace{1em}(7)}$$
另一方面，为了增强解释的个性化，作者根据用户个性重新加权负对。因为具有更鲜明个性的用户更有可能产生不同的解释，受此启发，作者提出加权个性化对比损失：
$${\mathcal{L}}_{PCL}=-\sum _{i=1}^N\log \frac{\exp \left(s_{i,i}^{R,Y}\right)}{\exp \left(s_{i,i}^{R,Y}\right)+f(i,j){\sum }_{j\in K}\exp \left(s_{i,j}^{R,Y}\right)}\text{\hspace{1em}(8)}$$
其中小批量中的负对根据用户个性相似度函数 f 重新加权。在我们的框架中，用户个性由他们的历史评论来代表。具体来说，我们将 f 函数定义为：
$$f(i,j)={\alpha }^{(}1-sim({\tilde{R}}_{(i)},{\tilde{R}}_{(j)}))\text{\hspace{1em}(9)}$$
总体而言，该模型通过交叉熵损失和两种对比损失的混合进行优化：
$${\mathcal{L}}_{loss}={\mathcal{L}}_{CE}+{\lambda }_1{\mathcal{L}}_{CCL}+{\lambda }_2{\mathcal{L}}_{PCL}\text{\hspace{1em}(10)}$$