1.最简单的一致性比例
A和B均为二分类模型,处理同一个问题,结果如下,竖着为A,横着为B
1 | 0 | |
1 | a | b |
0 | c | d |
则一致性比例为(a+d)/n,n=a+b+c+d,即AB结果相同的比例
2.相关系数,对没错,就大学概率论里头那个相关系数
3.Cohen's Kappa方法
也是AB进行二分类,结果如上表。先计算一致性比例
再分别计算A和B的随机一致性概率
注意到,A和B各自给出1的结果的比例,A为(a+b)/n,B为(a+c)/n
此时算出对于任意一个新的物体,AB两人同时分类结果为1的概率为
同理可算出
则
最后K值为
K取值为-1到+1之间,非正数时,基本认为两者无关,如果大于0,则数字越大,两者越一致
4.Fleiss' Kappa
用于多个评价者评价多个任务,图表给出的结果是10个评价者,评价五个物品,每个物品有四个星级
表示第i个物品得到的第j个星级的评价的数量,因此每一行数值总和为评价者总数,即10
nij | 1 | 2 | 3 | 4 | pi |
1 | 1 | 2 | 2 | 5 | 1.45 |
2 | 4 | 4 | 2 | 2 | 1.75 |
3 | 3 | 3 | 2 | 2 | 1.05 |
4 | 3 | 3 | 3 | 1 | 1.15 |
5 | 1 | 2 | 4 | 3 | 1.25 |
total | 12 | 14 | 13 | 13 | |
pj | 0.24 | 0.28 | 0.26 | 0.26 |
对于这个图,N=5,n=10,k=4
接下来,算出每一列的总和total,再除以任务总数,即n*N,得到,它可以理解为每个分类结果的随即一致性概率
接下来计算,即对每个标注任务进行一致性计算,,例如对第一个,结果为[(1^2+2^2+2^2+5^2)-n]/[n*(n-1)]=1.45
第三步,计算,
最后K的计算和含义同上,