多目标学习之esmm

ctr/cvr联合训练是多目标学习的重要应用，在我们的广告推荐中被证实有效；

背景：

cvr模型训练的数据较少（ctr/cvr），却需要对整个大盘数据进行预估，这个不科学，因此希望能够利用到整个大盘对数据，比如show/ctr对数据；

ctr/cvr联合训练将ctr的数据（show/ctr）也合并到cvr训练数据中，训练数据label由原来的二维表示是否转化调整成二维表示是否点击（第一维）和是否转化（第二维）；模型主要结构是共享input（embedding），但是网络不共享，每个网络输出一个task值，再根据cvr网络计算的y_cvr和ctr网络计算的y_ctr计算y_ctcvr值（ y_cvr * y_ctr）。由于转化是发生在点击之后，因此未点击的样本无法知道如果点击了是否会转化，无法准确计算未点击样本（show/cvr）的cvr loss。最终loss只统计ctr loss和ctcvr的loss。我们实验发现由于优化的是cvr，将ctcvr的loss权重扩大10倍效果最好。