kappa系数---学习笔记

1. kappa系数是一个用于一致性检验的指标，也可用于衡量分类的效果
2. 对于分类问题，所谓一致性就是模型预测结果和实际分类结果是否一致。kappa系数的计算是基于混淆矩阵的，取值为-1到1之间,通常大于0。
3. 基于混淆矩阵的kappa系数计算公式如下：（参考：kappa系数简介 - 知乎 (zhihu.com)）
4. kappa系数计算示例：
5. 实际分类问题中，各个类别的样本数量往往不太平衡，如果不调整不平衡的数据集，模型容易偏向大类别而放弃小类别，导致整体准确率很高，但部分类别完全不能被召回。所以需要惩罚模型的偏向性，根据kappa的计算公式，越不平衡的混淆矩阵，p_e越高，kappa值越低，正好能够给“偏向性”强的模型打低分。