机器学习 Cohen s Kappa，Quadratic Weighted Kappa 详解

首先需要明确，Kappa系数既可用于统计中的一致性检验，也可以用于机器学习中来衡量分类精度。它们的本质是一样的，但是理解方式略有不同，本文将从机器学习的角度来阐述Kappa系数。

一、基本思想

一般来说，对于机器学习中的分类问题，最简单粗暴的衡量指标就是准确率（accuracy），但是对于样本标签分布极其不均衡的数据，准确率就会出现误导了。
比如对于如下数据集，100个样本中10个是猫，10个是狗，需要预测每个样本是猫还是狗。当我们直接预测所有样本都是狗时，我们的预测率就可以达到90%。
这个准确率会造成分类结果很好的误导，那么我们是否可以考虑构造一个新的指标，把这个90%的准确率作为baseline（定义其为0），而全部分类正确时定义为1，得到如下图中My_score的指标。


这个指标基本接近Kappa系数了，只是Kappa系数的baseline计算方式不同。

二、Kappa系数定义

1.一致性检验中对kappa系数的定义

这里借鉴一下一致性检验中对kappa的定义来理解，假设下图中的R1是预测的样本分布，R2是真实样本分布。OA是R1的预测准确率，