Deep Neural Network for YouTube Recommendation论文阅读

Deep Neural Networks for YouTube recommendations 论文阅读

背景

推荐youtube视频的挑战：

1. Scale：现有的推荐算法能够在小数据集上表现良好，但难以应对youtube的规模。
2. Freshness：youtube每秒都有新的视频上传，推荐系统需要在新老视频之间进行平衡。另一方面用户行为更新很快，系统应能够及时追踪。
3. Noise：由于数据的稀疏性和各种不可观测的外部因素，用户满意度的显示数据难以直接获取，大部分都是隐式反馈信号。并且数据本身是非结构化的，因此模型需要具备足够的鲁棒性区解决这些问题。

系统架构

系统架构如图所示。

由图可知，主要有两个模块组成：一个用于候选集生成，一个用于排序。候选集生成模块使用用户活动历史与视频语料库作为输入，并从中选出几百个视频作为候选集。排序模块基于丰富的特征对候选视频与其他候选集打分，并按得分高低推荐给用户。以下将从候选集生成与排序两个部分对模型进行详细介绍。

候选集生成

1. 建模

   候选集生成模型的构建思想为：将视频的推荐作为一个分类问题看待。

   在时刻t从几百万视频中选出一个视频，公式为：

   $$P(w_t=i|U,C)=\frac{e^{v_{i}u}}{{\sum }_{j\in V}{e}^{v_{j}u}}$$

   其中U代表用户，C代表上下文，，V代表视频语料，$u$ 代表用户embedding，$v_j$代表每个候选视频的embedding。

   由于视频量较多，直接对所有视频进行softmax计算成本太大，因此需要对负样本进行采样并使用importance weighting的方法对采样进行校验。

   在服务阶段（serving time），采用在点积空间寻找最近邻的方法找出topN个视频，而无需softmax。这样做是出于工程上的考虑，因为在预测阶段，对上百万视频都过一遍模型实在是太慢了，而采用点积的方式则可以对实现存储的embedding快速进行计算。

2. 模型结构

   模型结构如图所示：在输入端将用户观看过的视频、搜索词、地理信息、example_age、性别等特征转化为embedding，再介入三层全连接层。 由图可知，模型的整体结构是比较简单的，重点在于特征的处理。其中，视频特征与搜索词特征分别有多个ID组成，因此先分别获取ID对应的Embedding，再对它们取平均。