一致性的评价方法

最新推荐文章于 2023-07-02 20:47:47 发布

格里芬阀门工

最新推荐文章于 2023-07-02 20:47:47 发布

阅读量2.7k

点赞数 1

分类专栏：机器学习

本文链接：https://blog.csdn.net/qq_42578970/article/details/112759420

版权

11 篇文章 0 订阅

订阅专栏

1.最简单的一致性比例

A和B均为二分类模型，处理同一个问题，结果如下，竖着为A，横着为B

则一致性比例为(a+d)/n,n=a+b+c+d，即AB结果相同的比例

2.相关系数，对没错，就大学概率论里头那个相关系数

3.Cohen's Kappa方法

也是AB进行二分类，结果如上表。先计算一致性比例 $p_{0}$

再分别计算A和B的随机一致性概率 $p_{e}$

注意到，A和B各自给出1的结果的比例，A为(a+b)/n，B为(a+c)/n

此时算出对于任意一个新的物体，AB两人同时分类结果为1的概率为 $p_{yes}=\frac{a+b}{n}*\frac{a+c}{n}$

同理可算出 $p_{no}=\frac{c+d}{n}*\frac{b+d}{n}$

则 $p_{e}=p_{yes}+p_{no}$

最后K值为 $K=\frac{p_{0}-p_{e}}{1-p_{e}}$

K取值为-1到+1之间，非正数时，基本认为两者无关，如果大于0，则数字越大，两者越一致

4.Fleiss' Kappa

用于多个评价者评价多个任务，图表给出的结果是10个评价者，评价五个物品，每个物品有四个星级

$n_{ij}$ 表示第i个物品得到的第j个星级的评价的数量，因此每一行数值总和为评价者总数，即10

对于这个图，N=5，n=10，k=4

接下来，算出每一列的总和total，再除以任务总数，即n*N，得到 $p_{j}$ ，它可以理解为每个分类结果的随即一致性概率

接下来计算 $p_{i}$ ，即对每个标注任务进行一致性计算， $p_{i}=\frac{1}{n(n-1)}\sum_{j=1}^{k}n_{ij}^{2}-n$ ，例如对第一个，结果为[(1^2+2^2+2^2+5^2)-n]/[n*(n-1)]=1.45

第三步，计算 $p_{o}=\frac{1}{N}\sum_{i=1}^{N}p_{i}$ ， $p_{e}=\sum_{j=1}^{k}p_{j}^{2}$

最后K的计算和含义同上， $K=\frac{p_{0}-p_{e}}{1-p_{e}}$

关注