KAPPA statistic

为什么80%的码农都做不了架构师？>>>   

第一次注意到这个参数的时候，很奇怪为什么衣服的品牌名会出现在这里，经过查阅后知道不是，不过这个东东是什么也没怎么弄懂，今天好好看看。

Kappa，用于评估新技术或测试产生的差异是技术还是观测者带来的。Kappa，广泛用于评测观察者之间的差异，即几个观察者产生相同判断的频数。简单的用yes和no的比例还评测不“科学”，因为这样没有考虑偶然性。当然，KAPPA考虑了。

关于方程，我截个图，大家应该能很容易的看懂。同时附一个同意比例的意义一图。

基于这个图我们可以看到，kappa由agreement,prevalence,bias这三个指数影响。

prevalence(base rate)

基准率，原文是关于胸透的所以用的prevalence这个词。

由上图的式子可以看出，prevalence的含义。prevalence与Kappa成反比。Prevalence在-1和+1之间徘徊，is 0 when + and – responses are equally probable.(a和d的个数相等，应该是这个意思，但这句话我不会翻，搞不懂）

Bias index（偏见）

从上图也能看出bias的含义。bias与kappa成反比。bias在0到1之间徘徊，当没有bias是为0。

上面说的大多数都是废话，有用的主要是kappa的介绍。

The kappa statistic measures the agreement of prediction with the true class -- 1.0 signifies complete agreement.

这句是WEKA对KAPPA这一数值的解释。根据Confusion Matrix使用上图中的公式计算KAPPA。

转载于:https://my.oschina.net/luan/blog/77566