重排序算法02

本文是对七月在线重排序02课程的一个非常简答的随堂笔记。 主要围绕评价指标、pointwise、pair wise 、list wist、多任务学习等展开。 

learning to rank 

        由信息检索领域里的多级相关性讲起，串起评价指标MAP 、NDCG的具体计算。 

 

Point wise 、pair wise 和list wise 的区别

point wise : 把query 和候选集变成一个一个的样本。下面的yi是label。训练的时候只考虑xi与yi的关系。“point wise对于一个人与各候选集拆分成一个人与各item之间的单独估计,ctr预估就是典型的point wise问题” 

对于pair wise而言，当一个query来时，不仅考虑query与xi的相关性还需要这个相关性与query 同xj的相关性是否更相关，有两两相关性之间的比较。即关注的是两两(xi与xj)对于query相关性大小的比较。训练的时候不再是point wise时的一个query与一个x就构成一个样本，而是一个query与两个x构成一个样本。翻译：x1比x2对于query更相关，则label为1. 

lise wise : 训练时就是定义整个列表的相关性，而不是之前point wise的一个 和pair wise的一对，此为多个了

 

停留时长模型： 

odds 推导： 

 多任务学习

• Definition:
        • 给定m个学习任务 ，其中所有的任务都是两两相关的，
        • 多任务学习旨在利用所有或者部分任务中的知识来提升针对任务 的模型的效果。
• 从上面的定义可以看到，多任务学习的重点在于多个任务之间的知识共享和共同学习， • 对于模型的数量和结构并没有要求。

• 在多任务学习中，我们同样面临着三个问题: • when to share?

• 经验
• what to share?

• MTL粗略的分为三大类:基于样本的MTL，基于特征的MTL和基于参数的MTL，分别对应着共享样本，共 享特征和共享参数的情况

• how to share? • 算法设计

MMOE