一、Kappa 检验方法
在做数据分析时,我们经常会面临一致性检验问题,即判断不同的模型或者分析方法在预测结果上是否具有一致性、模型的结果与实际结果是否具有一致性等。另外,一致性检验在临床实验中也有着广泛的应用。对于两个或多个医务工作者对同一病人给出的诊断结论进行一致性检验,英文叫
interrater reliability; 对同一医务工作者多次诊断结论的一致性检验,英文叫 intrarater
reliability。
二、计算方法
Kappa 系数有带加权和不带加权两种计算方法,分别对应 SAS
的简单Kappa系数和加权Kappa系数(Simple Kappa
Coefficient, Weighted Kappa Coefficient)。
先看不带加权的公式:
带加权的公式:
注:线性权重和平方权重分别对应SAS中的Cicchetti-Allison权重和Fleiss-Cohen权重,默认情况下使用Cicchetti-Allison权重。