YouTube推荐算法

推荐系统架构，候选集生成，排序

1. 推荐算法框架

millions原始数据 -》用户历史信息和上下文信息-》候选集生成-》hunderds 数据-》排序

（1）首先关注图片中下几个单词millions、hundreds、dozens：表示数据量的级别，全部的video corpus大概是millions级别，经过candidate generation之后大概是hundreds级别，经过ranking之后大概是dozens级别

（2）candidate generation的输入包括millions video corpus、user history and context ,旨在快速高效地筛选部分视频集合

（3）ranking的输入包括hundreds video corpus、user history and context、other candidate sources、video features，旨在得到高精度的TOP N

用户观看历史数据、搜索数据，做一个embedding,加上age、gender特征作为DNN的输入，接下来是几层的全连接层（激活函数是ReLU），训练阶段使用cross-entropy作为优化损失函数，线上阶段根据user vector和video vector通过an approximate nearest neighbor lookup得到TOP N作为输出，也是ranking阶段的输入

对类别特征（包括单值和多值的）进行Embedding，对连续特征进行Normalizing，训练阶段最后一层是加权的逻辑斯蒂回归，预测阶段直接根据学习到的W得到输出结果

2. LSTM时间序列分析预测

时间序列构成要素：长期趋势，季节变动，循环变动，不规则变动

• 长期趋势（ T ）现象在较长时期内受某种根本性因素作用而形成的总的变动趋势
• 季节变动（ S ）现象在一年内随着季节的变化而发生的有规律的周期性变动
• 循环变动（ C ）现象以若干年为周期所呈现出的波浪起伏形态的有规律的变动
• 不规则变动（I ）是一种无规律可循的变动，包括严格的随机变动和不规则的突发性影响很大的变动两种类型

直接预测

滚动预测

滑动窗口+ 滚动预测

3. 深度信念网络

深度信念网络是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。

4.玻尔兹曼机

如图所示为一个玻尔兹曼机，其蓝色节点为隐层，白色节点为输入层。
玻尔兹曼机和递归神经网络相比，区别体现在以下几点：
1、递归神经网络本质是学习一个函数，因此有输入和输出层的概念，而玻尔兹曼机的用处在于学习一组数据的“内在表示”，因此其没有输出层的概念。
2、递归神经网络各节点链接为有向环，而玻尔兹曼机各节点连接成无向完全图。

（4）限制玻尔兹曼机

限制玻尔兹曼机和玻尔兹曼机相比，主要是加入了“限制”。所谓的限制就是，将完全图变成了二分图。如图所示，限制玻尔兹曼机由三个显层节点和四个隐层节点组成。

限制玻尔兹曼机可以用于降维（隐层少一点），学习特征（隐层输出就是特征），深度信念网络（多个RBM堆叠而成）等（后面有更加详细的介绍）。