(比较两个或多个观测者对同一事物,或观测者对同一事物的两次或多次观测 )
Kappa statistic 这个指标用于评判分类器的分类结果与随机分类的差异度。(Kappa is a measure of agreement normalized for chance agreement.)
P(A) - P(E) > K = ----------- > 1 - P(E)
> Where P(A) is the percentage agreement (e.g., between your classifier and > ground truth) and P(E) is the chance agreement. K=1 indicates perfect > agreement, K=0 indicates chance agreement.
P(A)是分类器赞同(agreement)的比率,P(E)是随机分类赞同(agreement)的比率。
K=1的时候表明分类器的决策时完全与随机分类相异的(正面),K=0时表明分类器的决策与随机分类相同(即分类器没有效果)
K=-1时表明分类器的决策比随机分类还要差。
一般来说,Kappa指标的结果是与分类器的AUC指标以及正确率成正相关的,所以K越接近于1越好