神经网络深度学习（七）排序推荐进阶pairwise/listwise损失函数

目录

目录

一、pairwise loss

1.1 常见pairwise loss

1） Sortnet :基于神经网络的算法

2）Ranknet： 

3）FRnet：

4）Margin / Hinge Loss

1.2 pairwise loss问题

---

---

一、pairwise loss

1.1 常见pairwise loss

1） Sortnet :基于神经网络的算法

通过训练数据学习到一个函数，使用神经网络的结构来学习。有对称性原则：

2）Ranknet： 

在ranknet中，损失函数同样是由文章对定义的，通过定义得分函数 f来为x得分。目标概率Puv 通过得分的差值来定义：

通过交叉上损失函数来定义损失函数。

3）FRnet：

 交叉熵损失函数中，f(x_u)-f(x_v) 总是比1大，损失没有最小值，会在学习过程中导致一些困难，为了解决这个问题，用了fidelity loss。

4）Margin / Hinge Loss

该损失函数在Ranking SVM中使用。 

1.2 pairwise loss问题

1. 当有多个顺序的类别时，只知道good or bad，不知道好多少和差多少。

2. 当文章较多时，会产生大量的pairs。

3. 对噪声的label 非常敏感，一个错误的label，可能会导致分类结果中有较多的错误。

4. 大多数没有考虑结果中文档对的顺序，文档对的顺序也没有在损失函数中体现。

参考文献： 

https://www.jianshu.com/p/235756fbf6b6

RankNet 模型 & Pairwise源码解析 - 知乎