机器学习——性能评估指标

机器学习算法主要分为两类：

• 回归
• 分类
  回归算法的主要性能评估指标有：平均绝对误差（MAE）、平均平方误差（MSE)
  分类算法的主要性能评估指标有：精确率、召回率、AUC曲线、ROC曲线等

1. 分类算法的性能评估指标

1.1 精确率与召回率

• 精确率是针对预测结果而言，预测结果为正的样本中有多少是真正为正的样本，也称为查准率
• 召回率是针对原本样本而言，样本中有多少正样本被预测为正样本，也称为查全率

定义	描述
TP(True Positive，真正例)	将正类预测为正类
TN(True Negative，真负例)	将负类预测为负类
FP(False Positive，假正例)	将负类预测为正类
FN(False Negative，假负例)	将正类预测为负类

根据定义，可知：
$$percision=\frac{TP}{TP+FP}$$
$$recall=\frac{TP}{TP+FN}$$

应用场景：
（1）对于预测地震而言，我们更加看重的是召回率，希望每一次地震都可以被预测到；（2）对于垃圾邮件预测而言，我们更加看重精确率，被判断为垃圾邮件的要有很大把握才能判断为垃圾邮件；

1.2 F1-score

F1值就是精确值和召回率的调和均值（变量倒数的算术平均数的倒数）
$$\frac{2}{F_1}=\frac{1}{P}$$