分类与预测算法评价

1.背景

分类与预测模型对训练集进行预测而得出的准确率并不能很好滴反映预测模型未来的性能，为了有效判断一个预测模型的性能表现，需要一组没有参与预测模型建立的数据集，并在该数据集上评价预测模型的准确率，哲族独立的数据集兼做测试集。模型预测效果评价通常用相对/绝对误差、平均绝对误差、均方误差、均方根误差等指标来衡量。

下面分享常用的评价指标

（1）kappa统计

kappa统计是比较两个或多个观测者对同一事物，或观测者对同一事物的两次多次观测结果是否一致，以由于机遇造成的异质性和实际观测的异质性之间的差别大小作为评价基础的统计指标。Kappa统计量和加权Kappa统计量不仅可以用于无序和有序分类变量资料的异质性、重现性检验，而且能给出一个反映异质性大小的“量”值。

Kappa取值在[-1,1]之间，值的大小有不同意义

Kappa=+1说明判断结果万元一直

Kappa=-1说明结果完全不一致

Kappa=0说明两次判断结果是机遇造成

Kappa<0说明一致程度比机遇造成的还差，两次检查结果很不一致。

Kappa>0说明有意义，越大说明异质性越好。

Kappa≥0.75已经相当满意。Kappy小于0.4说明不够好

（2）识别准确率

Accuraracy = X100%

TP正确的肯定表示正确肯定的分类数；TN正确的否定表示正否定的分类数