Kappa系数用于一致性检验
也可以用于衡量分类精度
kappa系数的计算是基于混淆矩阵的
kappa计算结果为-1~1,但通常kappa是落在 0~1 间,可分为五组来表示不同级别的一致性:0.0~0.20极低的一致性(slight)、0.21~0.40一般的一致性(fair)、0.41~0.60 中等的一致性(moderate)、0.61~0.80 高度的一致性(substantial)和0.81~1几乎完全一致(almost perfect)。
引自百度百科Kappa系数
公式
k=po−pe1−pe
po 是每一类正确分类的样本数量之和除以总样本数,也就是总体分类精度
假设每一类的真实样本个数分别为 a1,a2,...,aC
而预测出来的每一类的样本个数分别为 b1,b2,...,bC
总样本个数为n
则有: pe=a1×b1+a2×b2+...+aC×bCn×n
例子
上图就是个混淆矩阵
po=239+73+280664=0.8916
pe=261×276+103×93+300×295664×664=0.3883
因此:
k=0.8916−0.38831−0.3883=0.8228