youtube推荐系统paper中关于weighted LR和以odds做为输出的思考

个人思考

• paper：Deep Neural Networks for YouTube Recommendations - 2016

• 关于其中ranking model以weighted LR进行训练和直接将$e^{wx}$做为时长预估输出。这里疑惑了很久，记录下自己的理解。

• 首先定义一个“观看时长率”的概念：
  $$\tilde{p}=\frac{\sum T_i}{\sum T_i+n_{neg}}=\frac{\sum T_i}{\tilde{N}}\text{\hspace{1em}(1)}$$
  本质上这个weighted LR学的是$\tilde{p}$，应该是一个“观看时长率”这么一个概念，注意这里的$\tilde{N}$其实是$\sum T_i+n_{neg}$，即加权样本和，而不是原始的样本数n，这里有一点绕。

• 从逻辑回归定义来讲，需要学习odds，定义odds：
  $$odds=\frac{\sum T_i}{n_{neg}}=\frac{\sum T_i}{\tilde{N}-\sum T_i}=\frac{\frac{\sum T_i}{\tilde{N}}}{1-\frac{\sum T_i}{\tilde{N}}}=\frac{\tilde{p}}{1-\tilde{p}}\text{\hspace{1em}(2)}$$

• 对odds进行转换：
  $$odds=\frac{\sum T_i}{n_{neg}}=\frac{\sum T_i}{n-n_{pos}}=\frac{\frac{\sum T_i}{n}}{\frac{n-n_{pos}}{n}}=\frac{E[T]}{1-p}\text{\hspace{1em}(3)}$$
  这里其实是对学的odds公式做了一个转换，$n_{neg}=n-n_{pos}$，才有后续的计算。p是播放率。

• 对odds进行近似：
  $$odds=\frac{E[T]}{1-p}\approx E[T](1+p)\approx E[T],(p<<1)\text{\hspace{1em}(4)}$$

• 跟宋博聊了下，这个地方的近似就是一个Taylor展开：
  $$odds=\frac{E[T]}{1-p}=E[T]\ast \frac{1}{1-p}=E[T]\ast (1+p+p^2+...)\approx E[T],(p<<1)$$

• 最后近似这个地方，paper是这个思路吗？感觉没有必要走$E[T](1+p)$这一步近似，前面除法那个公式在$p<<1$的时候照样可以进行近似的。

• 总体来讲，这个方法虽然真的很让人耳目一新，但$p<<1$这个假设太粗暴了吧，youtube App的视频播放率，起码得有20%？终究还是有一点强行近似的意思。

欢迎讨论指教。

参考

• 更新：看到这个朋友的解读跟我一样了：论文阅读:DNN for YouTube Recommendations
• 揭开YouTube深度推荐系统模型Serving之谜-王喆
  针对王喆老师的解读，我觉得还是有些问题的。
• weighted—-LR的理解与推广