偏序：正逆序比

逆序（Negative）

同一个集合( query相同 ) 的两个样本，在特征（模型计算所得）上的大小关系与在 label 上的大小关系相反，称为逆序，那么，同一个集合内的逆序对数目为逆序对数。

正序（Positive）

同一个集合( query相同 ) 的两个样本，在特征（模型计算所得）上的大小关系与在 label 上的大小关系相同，称为正序，那么，同一个集合内的正序对数目为正序对数。

正逆序比（PNR——Positive Negative Rate ）

正序对数 / 逆序对数，在排序问题中，正逆序比是衡量一个特征区分度的重要指标，一个特征的正逆序值越大，它的效果越理想。

如何计算正逆序

如下数据，第一列表示 query，第二列表示模型得到的 score，第三列表示 gt

query,score,label
1,0.468535,3    
2,0.529110,4    
3,0.529397,1   
4,0.652946,2   

计算过程：
从第二行向上数，1 个正序对，label2>label1 && score2 > score1
第三行向上数，2个逆序对，label3<label2 && score3 > score2； label3 < label1 && score3 > score 1
第四行向上数，1个正序对，2个逆序对

共计 6 个对（等差数列）
其中 2个正序对，2逆序对，PNR = 2 / 4 = 0.5

参考

https://zhuanlan.zhihu.com/p/440042900