【GCN多模态RS】《Pre-training Representations of Multi-modal Multi-query E-commerce Search》 KDD 2022

《Pre-training Representations of Multi-modal Multi-query E-commerce Search》 KDD 2022

考虑的场景是多模态query session，即一个session是文本和图像的query，目的是建模这个session的表征，从而实现CTR或者Query推荐。

如上图，淘宝中除了文本搜索、拍照搜索之外，还可以在文本搜索结果中长按商品进行相似商品搜索。其中，文本搜索以输入的关键词作为Key Query，拍照搜索以实拍图作为Image Query，相似商品搜索以商品信息作为Product Query（包括商品标题、描述等）。在用户的浏览购物过程中，会交替使用这些不同模态的搜索形式。因此，上述搜索行为就构成了一个多模态多Query的搜索会话 (MM search session)。其中Key Query和Image Query包含一系列words，Image Query包含一张图片。

session的划分规则是同一个用户前后2次搜索间隔不超过30分钟作为窗口来构建搜索session，文章先展示了MM session普遍更长，甚至9%包含10个query以上，另一方面MM session的点击次数明显少于纯文本session，说明MM session的意图还是很复杂的，MM session的表征学习还是很重要的。

这篇文章提出将session建模为图，然后利用对比学习预训练，最终得到MM session的表征，用于各种下游任务。

异质图

对于文本query，每个word是一个节点，对于图像query，图像是一个节点。每个节点都有一个embedding，文本就是用word2vec得到的向量，图片预训练模型得到的feature。注意即使是同一word，product query的word和key word query的word也不是同一节点，因为“属于不同type”。

因为要用对比学习预训练，所以需要生成两种视图，并得到两种视图的embedding：

基于注意力机制的全局视图（AGV）

在AGV视图中，一共有三种不同的节点类型 Q = { K Q , P Q , I Q } Q=\{K Q, P Q, I Q\} Q={ KQ,PQ,IQ} ，分别表示文本搜索的关键词Query、相似商品搜索中的标题Query和图片Query，一共有两种不同类型的边， E = { C O , R F } E=\{C O, R F\} E={ CO,RF} 分别表示co-occur 和refine 关系，CO指的是两个节点属于同一个Query，RF关系表示两个节点分别属于两个相邻的Query。节点已经有初始化向量了，但是由于视觉模态和文本模态属于不同的表征空间，因此在初始化时，需要先将 image 的表征映射到文本的空间中：
$${\mathbf{v}}_i=\sigma \left({\mathbf{W}}^e{\tilde{\mathbf{v}}}_i+\mathbf{b}\right)$$
其中${\tilde{\mathbf{v}}}_i$ 是图片 i 的初始embedding。现在在同一个文本空间了，然后对不同模态分别做Attention聚合，得到每一种模态下的表示，具体的，节点 i 在模态 p 下的隐向量计算公式为：
$${\mathbf{v}}_i^p=\sigma \left(\sum _{j\in {\mathcal{N}}_i,\varphi (j)=p}{\alpha }_{i,j}^p{\mathbf{v}}_j\right)$$
其中 p ∈ { K Q , P Q , I Q } p \in\{K Q, P Q, I Q\} p∈{ KQ,PQ,IQ}，这里p实际上是节点类型，$\varphi (j)=p$该类节点，是${\mathcal{N}}_i$是邻居节点集合，${\alpha }_{i,j}^p$是特定类型的注意力，计算方法为：
α i , j p = exp ⁡ ( σ ( W