模型常用评估指标详解- 混淆矩阵/Recall/ROC/AUC/F1/MAPE/RMSE

简介

模型评估通常作为建模的最后一步，用于评估模型效果，判别该模型是否达到预期。但实际模型评估指标需要在建模的第一步确定，即确定目标函数。凡事都得有个目标，才知道努力的（拟合）方向，否则枉然。
连续值或者分类型的预测最常用的说法就是模型精度，但实际精度一词有多重含义，例如连续性预测模型常用的是MAPE/RMSE，而分类常用AUC/accuracy/recall/specify等等。本文将介绍常用的评估指标，并对应下各指标的不同称呼。

0-1分类预测的评估

一般的分类都是二元分类，而最常用的则是ROC曲线下方的面积AUC值了。首先需要知道混淆矩阵的构成，以及其衍生的一系列评估指标，取其不同阈值下的两个评估指标，即可构成ROC曲线，而曲线下方的面积，即为AUC值。

混淆矩阵

对于而分类问题，记1为正例，0为负例，预测和实际的值则会出现4中组合，例如，对某一样本，预测值为1（Positive），而实际值也为1，说明预测正确，即为 True Positive（真正例），反之如果实际值为0，则预测错误，即为 False Positive（假正例）。根据4中组合，得到混淆矩阵如下：

	预测-1	预测-0
实际-1	True Positive(TP)	False Negative(FN)	Actual Positive (P=TP+FN)
实际-0	False Positive(FP)	True Negative(TN)	Actual Negative (N=FP+TN)
	Predicted Positive (P’=TP+FP)	Predicted Negative (N’=FN+TN)	TP+FP+FN+TN

衍生的各种评估指标如下：

• 准确率(accuracy)
  • $\frac{TP+TN}{TP+FP+FN+TN}$
• 错误率
  • $\frac{FP+FN}{TP+FP+FN+TN}$
• 敏感度(sensitivity)、真正例率、召回率(recall)
  • $\frac{TP}{TP+FN}$
• 特效性(specificity)、真负例率
  • $\frac{TN}{FP+TN}$
• 精度(precision)
  • $\frac{TP}{TP+FP}$
• $F$