机器学习模型评价指标总结

评价	指标	介绍
分类模型	准确率	Accuracy=N（correct）/N(total) 准确率评价没有对不同类别进行区分。 此外，数据分布不平衡，即有的类别下样本过多，有的类别下样本少，两个类个数相差较大，这样样本占大部分的类别主导了准确率的计算。
	平均准确率	举例，类别0的准确率为80%，类别1下的准确率为97.5%，那么平均准确率为(80%+97.5%)/2=88.75%
	对数损失函数（log-loss）
	精确率-召回率（Precision-Recall）	精确率(Precision)：分类正确的正样本个数占分类器所有预测为正样本的个数的比例； 召回率(Recall)：分类正确的正样本个数占全部实际正样本个数的比例。
	AUC（ROC曲线下面积）	ROC曲线的x轴便是FPR，y轴便是TPR。
	混淆矩阵（Confusion Matrix）	由混淆矩阵可以计算以下评价指标: 1.准确率（Accuracy）：分类正确的样本数占所有样本数的比例   2. 平均准确率(Average per-class accuracy)：每个类别下的准确率的算术平均   3.精确率(Precision)：分类正确的正样本个数占分类器所有预测为正样本的个数的比例   4.召回率(Recall)：分类正确的正样本个数占全部实际正样本个数的比例   5.F1-Score：精确率与召回率的调和平均值，它的值更接近于Precision与Recall中较小的值   6.ROC曲线：ROC曲线的x轴便是FPR，y轴便是TPR。
回归模型	平方根误差（RMSE）	RMSE虽然广为使用，但是其存在一些缺点，因为它是使用平均误差，而平均值对异常点（outliers）较敏感，如果回归器对某个点的回归值很不理性，那么它的误差则较大，从而会对RMSE的值有较大影响，即平均值是非鲁棒的。
	Quantiles of Errors	为了改进RMSE的缺点，提高评价指标的鲁棒性，使用误差的分位数来代替，如中位数来代替平均数。 假设100个数，最大的数再怎么改变，中位数也不会变，因此其对异常点具有鲁棒性。在现实数据中，往往会存在异常点，并且模型可能对异常点拟合得并不好，因此提高评价指标的鲁棒性至关重要，于是可以使用中位数来替代平均数，如MAPE。
	Almost Correct Predictions
排序评价指标	精确率-召回率（Precision-Recall）
	Precision-Recall Curve 和 F1 Score
	NDCG