推荐系统遇上深度学习(九十一)-[阿里]跨域点击率预估混合兴趣模型MiNet

本文要介绍的论文是《MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction》
论文下载地址为：https://arxiv.org/abs/2008.02974

1、背景

当前的点击率预估模型往往是在单域上进行的，比如在预估广告的点击率时，仅仅使用广告上的数据。但是呢，在新闻推荐中呢，广告往往是和自然结果（普通新闻）一起展示的，尽管广告的内容和自然结果的内容相差较大，但用户在自然结果上的浏览行为也可能会对广告点击率预估提供有用的信息，比如当一个用户浏览了一些娱乐方面的资讯，那他就会有更高的概率点击游戏方面的广告。因此，在广告点击率预估中，引入用户在自然结果上的浏览数据在理论上可以提升CTR预估的效果。

本文主要介绍在UC头条上（如下图所示），如何使用用户在自然结果（source domain）上的浏览行为，来提升在广告（target domain）上的点击率预估效果。提出的模型称为MiNet（Mixed Interest Network），一起来学习下。

2、MiNet介绍

2.1 整体介绍

模型的整体结构如下图所示：

模型主要建模用户三个方面的兴趣：
1）跨域长期兴趣：这里主要通过用户的基本属性信息来表示用户内在的长期兴趣，比如20岁左右的男性用户可能对体育赛事的资讯或者游戏类的广告比较感兴趣
2）源域短期兴趣：主要是对用户在自然结果上的短期浏览行为进行建模
3）目标域短期兴趣：主要是对用户在广告上的短期点击行为进行建模

同时，模型采用了两个层级的attention，首先是item级别的，主要是从用户的点击行为中抽取出和目标广告相关的信息，另一个是interest级别的，主要是建模不同兴趣的重要程度。接下来，我们详细介绍各个部分。

2.2 特征Embedding

模型的输入大都是id类特征，如用户ID、用户性别，用户所在地域，用户的手机设备型号、用户点击过的自然结果ID、广告结果ID等等，这类id类特征首