RecSys 多模 - 广告CTR多模态特征表示

Enhancing Taobao Display Advertising with Multimodal Representations: Challenges, Approaches and Insights
官方解读文档

1 动机

多模特征引入能为推荐系统引入一定的语义信息。多模特征接入一般分为两个阶段，面临不同难点：

1. 预训练获得多模特征：符合业务目标的高质量多模特征
2. 多模特征接入推荐模型：多模特征与ID类特征存在语义和使用上的鸿沟，直接拼接多模特征没用

2 Pretrain - Semantic-Aware Contrastive Learning

在电商场景, 用户的搜索-购买行为链通常表示出显著的语义相关性。因此，将搜索query与用用户购买item作为正样本对

in-batch负采样受限于batch-size，因此作者参考MoCo的动量更新方法, 设置了个更大的memory bank用于采样更多的负样本。同时，还设置了hard负样本（仅点击样本）

3 Intergration with Rec Model

直接将多模特征和ID特征拼接输入，增益有限。作者提出observation：

1. simplifying the usage of multimodal repre- sentations improves performances。简化多模特征的使用可以提升效果。直接使用拼接未能取得很好效果是因为与多模特征连接的参数(如MLP层)可能并没有被充分训练
2. ID-based and multimodal-based models have training epoch discrepancy。ID特征模型和多模特征模型的训练所需Epoch不同。为了防止过拟合，ID特征模型一般one epoch；但多模特征模型需要多轮训练
   
   

3.1 SimTier

1. 将target item和行为序列items的多模特征计算cos相似度
2. 将[-1.0, 1.0]分成预先定义的N桶，分桶统计个数，即得到target item与行为序列整体相似度描述
   

3.2 MAKE - Multimodal Knowledage Extractor

MAKE主要用来解耦ID特征和多模特征相关参数的训练，分为两步：

1. multi-epoch training，抽取有效多模特征知识：CTR任务，仅多模特征接入DIN，再经过4-layers MLP预估CTR
   
   
   

2. knowledge utilization，接入下游任务：将DIN的输出$v_{MASK}$，浅层MLP的中间层输出, 以及$\hat{v}$分别与ID模型拼接, 再联合训练