模型评价是指对于已经建立的一个或多个模型,根据其模型的类别,使用不同的指标评价其性能优劣的过程。常用的聚类模型评价指标有ARI评价法(兰德系数)、AMI评价法(互信息)、V-measure评分、FMI评价法和轮廓系数等。常用的分类模型评价指标有准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F1 Value)、ROC和AUC等。常用的回归模型评价指标有平均绝对误差、均方根误差、中值绝对误差和可解释方差值等。
线性回归解决的是连续型数值的预测问题,例如预测房价,产品销量等。
逻辑回归解决的是分类问题,从分类数量上看,有二项分类和多项分类。
sklearn库的metrics模块提供各种评估方法,包括分类评估、回归评估、聚类评估和交叉验证等,评估分类是判断预测值时否很好的与实际标记值相匹配。正确的鉴别出正样本(True Positives)或者负样本(True Negatives)都是True。同理,错误的判断正样本(False Positive,即一类错误)或者负样本(False Negative,即二类错误)。
注意:True和False是对于评价预测结果而言,也就是评价预测结果是正确的(True)还是错误的(False)。而Positive和Negative则是样本分类的标记。
metrics模块分类度量有6种方法,如下表所示:
指标
描述
metrics方法
Accuracy
准确度
from sklearn.metrics import accuracy_score
Precision
查准率
from sklearn.metrics import precision_score
Recall
查全率
from sklearn.metrics import recall_score
F1
F1值
from sklearn.metrics import f1_score
Classification Report
分类报告
from sklearn.metrics import classification_report
Confusion Matrix
混淆矩阵
from sklearn.metrics import confusion_matrix
ROC
ROC曲线
from sklearn.metrics import roc_curve
AUC
ROC曲线下的面积
from sklearn.metrics import auc
1 ‘‘‘
2 from sklearn.metrics import accuracy_score, precision_score,3 recall_score, f1_score, classification_report, confusion_matrix4 accuracy_score(y_test, y_pred)5 precision_score(y_test, y_pred)6 recall_score(y_test, y_pred)7 f1_score(y_test,y_pred)8 classification_report(y_test,y_pred)9 confusion_matrix(y_test, y_pred)10 ‘‘‘
准确度(accuracy)
准确度是预测正确的数(包括正样本和负样本)占所有数的比例。利用accuracy_score函数对预测数据进行模型评估,其中第一个参数是测试标记,第二个参数是预测标记值
ACC = (TP+TN)/(TP+TN+FP+FN)
查准率/精确度(Precision)和查全率/召回率(Recall)
sklearn的metrics模块分别提供了prec