简介
模型评估通常作为建模的最后一步,用于评估模型效果,判别该模型是否达到预期。但实际模型评估指标需要在建模的第一步确定,即确定目标函数。凡事都得有个目标,才知道努力的(拟合)方向,否则枉然。
连续值或者分类型的预测最常用的说法就是模型精度
,但实际精度
一词有多重含义,例如连续性预测模型常用的是MAPE/RMSE
,而分类常用AUC/accuracy/recall/specify
等等。本文将介绍常用的评估指标,并对应下各指标的不同称呼。
0-1分类预测的评估
一般的分类都是二元分类,而最常用的则是ROC曲线
下方的面积AUC
值了。首先需要知道混淆矩阵的构成,以及其衍生的一系列评估指标,取其不同阈值下的两个评估指标,即可构成ROC曲线,而曲线下方的面积,即为AUC值。
混淆矩阵
对于而分类问题,记1为正例,0为负例,预测和实际的值则会出现4中组合,例如,对某一样本,预测值为1(Positive
),而实际值也为1,说明预测正确,即为 True Positive
(真正例),反之如果实际值为0,则预测错误,即为 False Positive
(假正例)。根据4中组合,得到混淆矩阵如下:
预测-1 | 预测-0 | ||
---|---|---|---|
实际-1 | True Positive(TP) | False Negative(FN) | Actual Positive (P=TP+FN) |
实际-0 | False Positive(FP) | True Negative(TN) | Actual Negative (N=FP+TN) |
Predicted Positive (P’=TP+FP) | Predicted Negative (N’=FN+TN) | TP+FP+FN+TN |
衍生的各种评估指标如下:
- 准确率(
accuracy
)- T P + T N T P + F P + F N + T N \frac{T P+T N}{TP+FP+FN+TN} TP+FP+FN+TNTP+TN
- 错误率
- F P + F N T P + F P + F N + T N \frac{FP+FN}{TP+FP+FN+TN} TP+FP+FN+TNFP+FN
- 敏感度(
sensitivity
)、真正例率、召回率(recall
)- T P T P + F N \frac{TP}{TP+FN} TP+FNTP
- 特效性(
specificity
)、真负例率- T N F P + T N \frac{TN}{FP+TN} FP+TNTN
- 精度(
precision
)- T P T P + F P \frac{TP}{TP+FP} TP+FPTP
- F 1 F_1 F