Enhancing Taobao Display Advertising with Multimodal Representations: Challenges, Approaches and Insights
官方解读文档
1 动机
多模特征引入能为推荐系统引入一定的语义信息。多模特征接入一般分为两个阶段,面临不同难点:
- 预训练获得多模特征:符合业务目标的高质量多模特征
- 多模特征接入推荐模型:多模特征与ID类特征存在语义和使用上的鸿沟,直接拼接多模特征没用
2 Pretrain - Semantic-Aware Contrastive Learning
在电商场景, 用户的搜索-购买行为链通常表示出显著的语义相关性。因此,将搜索query与用用户购买item作为正样本对
in-batch负采样受限于batch-size,因此作者参考MoCo的动量更新方法, 设置了个更大的memory bank用于采样更多的负样本。同时,还设置了hard负样本(仅点击样本)
3 Intergration with Rec Model
直接将多模特征和ID特征拼接输入,增益有限。作者提出observation:
- simplifying the usage of multimodal repre- sentations improves performances。简化多模特征的使用可以提升效果。直接使用拼接未能取得很好效果是因为与多模特征连接的参数(如MLP层)可能并没有被充分训练
- ID-based and multimodal-based models have training epoch discrepancy。ID特征模型和多模特征模型的训练所需Epoch不同。为了防止过拟合,ID特征模型一般one epoch;但多模特征模型需要多轮训练
3.1 SimTier
- 将target item和行为序列items的多模特征计算cos相似度
- 将[-1.0, 1.0]分成预先定义的N桶,分桶统计个数,即得到target item与行为序列整体相似度描述
3.2 MAKE - Multimodal Knowledage Extractor
MAKE主要用来解耦ID特征和多模特征相关参数的训练,分为两步:
-
multi-epoch training,抽取有效多模特征知识:CTR任务,仅多模特征接入DIN,再经过4-layers MLP预估CTR
-
knowledge utilization,接入下游任务:将DIN的输出 v M A S K v_{MASK} vMASK,浅层MLP的中间层输出, 以及 v ^ \hat{v} v^分别与ID模型拼接, 再联合训练