机器学习模型评估总结

准确率

$$Accuracy=\frac{n_{correct}}{n_{total}}$$
$n_{correct}$: 被正确分类的样本个数
$n_{total}$ :总样本个数

存在问题：当不同类别的样本比例不均衡时，占比大的类别往往决定了准确率。

精准率、召回率、F-measure

precision精确率：针对预测结果，它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种把正类预测为正类(TP)，另一种把负类预测为正类(FP)，得到公式：

$$precision=\frac{TP}{TP+FP}$$

recall召回率：针对原来的样本，它表示的是样本中的正例有多少被预测正确了。也有两种可能，一种把原来的正类预测成正类(TP)，另一种把原来的正类预测为负类(FN)。得到公式：

$$recall=\frac{TP}{TP+FN}$$

$F-measur{e}_{\alpha }$是precision和recall加权调和平均.在大规模数据集合中，这precision和recall是相互制约的因此，$F-measur{e}_{\alpha }$更能反应分类器的性能，当$\alpha$ 为1时，即为F1-score。

$$F-measur{e}_{\alpha }=\frac{(1+{\alpha }^2)\ast precision\ast recall}{{\alpha }^2\ast (precision+recall)}$$

ROC曲线

ROC曲线的横坐标为假阳率FPR(False Positive Rate,TPR)，纵坐标为真阳率TPR(True Positive Rate,TPR)

$$FPR=\frac{FP}{N}$$ $$TPR=\frac{TP}{P}$$
P：真实的正样本数量，
N：是真实的负样本数量，
TP：P个正样本被分类器预测为正样本的个数
FP：N个负样本被分类器预测为正样本的个数

AUC

定义 ：AUC就是ROC曲线下的面积，AUC越大说明，分类器性能更好
物理意义 ：任取一对(正，负)样本，正样本score大于负样本score的概率，即分类器将正样本排在前面的概率
计算公式： M代表正样本数量，N代表负样本数量

$$AUC=\frac{{\sum }_{i\in M}ran{k}_i-\frac{M(M+1)}{2}}{M\ast N}$$

RMSE、MAPE

RMSE(均方根误差)被用来衡量回归模型预测值与真实值的偏离程度。

RMSE公式：$$RMSE=\sqrt{\frac{{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2}{n}}$$
$y_i$是第i个样本点的真实值，${\hat{y}}_i$是预测值，n是样本点个数

RMSE对噪声点特别敏感，因此MAPE（平均绝对百分比误差）指标鲁棒性更好

MAPE公式：$$MAPE=\sum _{i=1}^n\mid \frac{(y_i-{\hat{y}}_i{)}^2}{y_i}\mid \ast \frac{100}{n}$$