推荐系统遇上深度学习(一一六)-[腾讯]用于多目标用户建模的MVKE模型

今天给大家介绍一篇腾讯在用户标签建模上的不错的尝试，提出了新颖的Mixture of Virtual-Kernel Experts (MVKE)模型，一起来看一下。

1、背景

与大多数工业界的在线广告和推荐系统架构一样，腾讯的广告系统同样是如下图所示的漏斗结构：

第一步称作定向（targeting）基于用户的画像从众多的广告中抓取候选广告，后续的打分和排序步骤则是挑选最适合用户的广告进行展示。在这几步的工作中，用户建模（User profiling）是一项很重要的工作，而用户标签建模（tagging）则是其中的核心部分，其重要性主要体现在两方面：首先，许多广告主希望他们的广告能够触达一些有特定标签的用户，并会为自己的广告绑定相应的标签，如Nike希望能够触达体育爱好者，BMW则希望触达汽车爱好者；另一方面，用户标签是特征工程中很关键的一部分。而本论文则重点研究如何有效的进行标签建模。

然而，在腾讯的广告系统中，用户标签建模主要面临以下几方面的挑战：

1）腾讯的QQ、微信等平台服务于上亿的用户，对如此巨量的用户进行标签建模是十分具有挑战性的；
2）用户的偏好是多方面并且是主题相关的。例如，一位用户可能不仅喜欢体育相关的广告，还喜欢汽车相关的广告。因此，如何准确有效地表示用户对各种主题的多重偏好十分具有挑战性；
3）用户对同一标签下的行为也是多样的，并且至少包括点击和转化两种，在挖掘用户偏好时，需要进一步考虑用户对于同一标签在不同行为上的偏好差异。

对于问题1，业界广泛使用双塔模型，两个塔分别输出用户和标签对应的embedding，并通过内积的方式计算其匹配程度。然而双塔模型两个塔是相对独立的，用户特征和标签特征没有充分的交互，其效果是有损的。对于问题2，双塔模型也很难有效表征用户在多主题上的多样兴趣。对于问题3，多任务学习如MMoE、ESMM是常用的模型，但这些模型如果没有专门的考虑和结构设计，也不足以解决用户多主题相关的偏好问题。总结来说，在对用户进行高效标签建模的前提下，需要满足两个正交的目标，即多主题兴趣建模和多行为兴趣建模（这也是标题中多目标的含义），如下图所示：

为了解决如上几方面的问题，论文提出了一个新颖的多任务学习模型，称作Mixture of Virtual-Kernel Experts（MVKE），下面一起来学习一下。

2、MVKE模型介绍

这一节主要对MVKE进行介绍，MVKE本质上仍然属于双塔结构，因此本章首先会介绍基本的双塔模型，随后介绍在单任务情况下的MVKE模型，最后介绍多任务情况下的MVKE模型。