Kappa系数是一种评价分类任务中机器评分与专家评分一致性的指标，尤其适用于离散值的评估。简单Kappa系数通过比较实际一致率和随机一致率来计算，而加权Kappa系数引入了不同错误分类的权重。在3分类的例子中，展示了如何计算Kappa系数，结果显示其为0.5。此外，还提到了PCC相关系数和其在回归问题中的应用。
kappa检测方法
- 评价相关性的一种指标
- 注意只能计算离散值，不能计算回归问题，如果计算回归问题，必须将值进行离散化
- 这个评价指标经常用在作文评分当中，用来评价机器评分与专家评分的一致性
Simple Kappa Coefficient（简单kappa系数）
- Clinician 1看做真实分布，Clinician2看做预测分布
- 实际一致率与随机一致率是否有显著的差别
K a p p a = P o − P e 1 − P e ; P o = a + d n ; P e = ( a + b ) ( a + c ) + ( c + d ) ( b + d ) n 2 Kappa = \frac{P_o - P_e}{1 - P_e}; P_o = \frac{a+d}{n}; P_e = \frac{(a+b)(a+c) + (c+d)(b+d)}{n^2} Kappa=1−PePo−Pe;Po=na+d;Pe=n2(a+b)(a+c)+(c+d)(b+d)，其中 P o P_o Po实际一致率， P e P_e Pe理论一致率 - P 0 P_0 P0
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
