推荐系统20---MMOE(多任务学习系列1)

1，多任务学习背景

写完推荐系统8之后，直接来到了推荐系统20，因为工作需要，最近需要先了解多任务方面的文章。那就先从这里开始吧。中间缺的这些，后面慢慢补。下面言归正传，开始引入多任务学习的背景知识：
在工业界实际推荐场景中，往往不是单纯的优化一个指标，比如：

• 视频推荐领域：推荐排序任务不仅需要考虑到用户点击率，完播率，还要考虑到一些满意度指标。例如：对视频是否喜欢，用户观看后对视频的评分等。
• 文章推荐领域：不仅希望用户点击文章，还希望用户有更多的停留时长，互动，关注。
• 电商推荐领域：不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率，转化率。
  所以推荐系统做到后期，往往会朝多目标学习进行演化，承担更多业务目标，提高用户粘性。多目标排序，目前大致有4种解决方案：
  1，改变样本权重进行多目标优化：这是一种比较初级的方式。比如主目标是点击率，分享率是我们希望提高的指标。那么点击和分享都是正样本，分享的样本可以设置更高的样本权重。模型训练在计算梯度更新参数时，梯度要乘以权重，对样本权重大的样本要给予更大的权重。通过这种方法，使得原始目标A会受到一定的损失以换取新增目标B的增长，实现初级的多目标优化。
  这里突然想说两句：在信贷营销领域。点击率，实名率，授信通过率，这些目标需要进行权衡，不能单纯只优化一个目标。只优化点击率，点击率上来了，但是拉来的人，资质很差，也就是只点击，但是后面的授信通过环节很差劲，只点击，不贷款这样是不行的。或者只优化授信通过率，但是拉来的这部分人，虽然资质好，但是资质好的人，一般不会去点击借贷软件，也就是点击率又下来了，这样发送短信或者push大部分都没用，那花出去的钱也就浪费了。所以需要多个目标共同优化，实现最终的"整体盈利最大化"。平衡很重要，在哪里都是如此呀~
  这种方法的优缺点如下：
  1，优点：模型简单，不需要额外架构支持，没有增加算法复杂度。
  2，缺点：没有对多目标建模，而是将多个目标折算成一个，折算权重不好确定。
  2，多模型分数融合：多模型融合的思路，就是用多个模型分别预测每个目标，最后的预测分数加权融合。比如：
  
  1，优点：模型简单
  2，缺点：线上服务时间开销大，部署困难，需要多个模型预测结果结合，并且不同目标难以量化评估重要性。如果样本部分特征稀疏，有的模型不好单独学习，模型融合的这几个超参数也不好确定。

3，排序学习：通过预测两两物品之间相对顺序，或者物品序列之间顺序来解决多目标学习的问题。比如，视频推荐为例，用户观看很长的i视频，点击了j 视频，在假设观看比点击更重要的前提下：假设u代表用户的偏好，则Ui>Uj。有了相对顺序，就可以使用排序学习的方式，融合多个目标，不需要训练多个模型。
1，优点：模型简单
2，缺点：相对顺序不好构造。样本数量增大，训练速度慢，样本的不平衡会被放大。比如有的用户有10次点击，有的只有1次点击，10次的会有更多训练机会。
4，多任务学习：这个是目前最常用的技术。简单理解就是：用一个网络同时完成多个任务的优化。这样有很多优势：多个任务共享一个模型，占用内存少，计算速度快，并且关联任务还可以通过共享信息，相互补充，提升彼此的表现。但同时也面临很多挑战：不同任务该如何融合？多个目标不怎么相关怎么办？目标的重要性不同，这个在训练模型的时候如何体现等。
接下来的学习，将围绕“多任务学习”这个话题进行展开。下面是多任务学习的一个基本框架图：

2，MMOE?先简单了解一下多任务学习里面 hard-parameter sharing

模型中，如果一个网络同时完成多个任务，就可以把这样的网络模型称为多任务模型，这种模型能在不同任务之间学习共性以及差异性，能够提高建模质量以及效率。常见的多任务模型设计范式大致可以分为三大类：

• hard parameter sharing 方法：非常经典的方式。底层是共享的隐藏层，学习各个任务的