一、各类学习器评价指标
机器学习是借助算法模型来解析数据,并从中学习,然后对真实世界中事件作出决策或预测的方法。根据是否提供数据的分类结果(数据的标签),可将机器学习方法分为两大类:监督学习(如分类和回归方法),无监督学习(如聚类方法)。
在利用机器学习方法对问题作出决策和预测后,我们需要对结果进行评价,此时我们应选择合适的评价指标,不同的学习器相应的指标体系也有差异:
分类模型:准确率、ROC-AUC、混淆矩阵及其相关的一系列指标;
回归模型:误差平方和以及决定系数R2等;
聚类算法:(Given Label)准确率、兰德指数、互信息等,(Not Given Label)紧密性,间隔性,邓恩指数等。
二、分类模型评价指标
2.1混淆矩阵
这里只要记住True、False描述的是分类器是否判断正确,Positive、Negative是分类器的分类结果。
- TP(true positive):表示样本的真实类别为正,最后预测得到的结果也为正;
- TN(true negative):表示样本的真实类别为负,最后预测得到的结果也为负;
- FP(false positive):表示样本的真实类别为负,最后预测得到的结果却为正;
- FN(false negative):表示样本的真实类别为正,最后预测得到的结果却为负。
根据以上几个指标,可以分别计算出Accuracy、Precision、Recall(Sensitivity,SN),Specificity(SP)。
P(实际为正例)=TP+FN;
N(实际为负例)&#