【跟李沐学AI—机器学习】3 评估指标

使用旧数据训练得到的模型，在新的数据上预测效果怎么样

一般是通过评估指标来进行模型的选择

1. Accuracy准确度——在所有样本中，预测正确的概率

$$\frac{预测准确的数量}{样本总数}$$

2. Precision精确度——你认为的正样本中，有多少是真的正确的概率

$$\frac{预测为类别A\&\&它真的为类别A}{预测为类别A的所有数量}$$

3. Recall召回率——正样本中有多少是被找了出来

$$\frac{预测为类别A\&\&它真的为类别A}{类别A的所有样本数量}$$

4. F1-score——平衡精度和召回率，F1 score越高，说明模型越稳健

$$\frac{2pr}{p+r}$$

5. ROC和AUC

ROC代表接收者操作特征曲线（Receiver Operating Characteristic），是一种以图形方式表示分类模型性能的工具。

它展示了模型在不同分类阈值下的真阳性率（True Positive Rate）与假阳性率（False Positive Rate）之间的关系。真阳性率指的是模型正确地将正例预测为正例的比例，而假阳性率指的是模型错误地将负例预测为正例的比例。

AUC代表ROC曲线下方的面积（Area Under the Curve）。AUC是一个度量指标，用于衡量分类模型的性能。

AUC的取值范围在0到1之间，其中0.5表示模型的分类能力等同于随机猜测，而1表示模型完美地对样本进行分类。0-0.5其实就是0.5-1的符号相反了。

6. overfiting过拟合

泛化误差高、训练误差低，如简单数据用复杂模型训练

7. underfiting欠拟合

泛化误差高、训练误差也高，如复杂数据用简单模型训练