机器学习/深度学习——关于分类任务的机器学习、深度学习模型的评估指标详解

机器学习/深度学习——模型的评估详解

搭配以下文章进行学习：

卷积神经网络：
深度学习——卷积神经网络（convolutional neural network）CNN详解（一）——概述. 步骤清晰0基础可看

深度学习——卷积神经网络（convolutional neural network）CNN详解（二）——前向传播与反向传播过程（特征提取+预测+反向传播更新参数）. 步骤清晰0基础可看

简单的神经网络详解：
深度学习——神经网络（neural network）详解（一）. 带手算步骤，步骤清晰0基础可看

深度学习——神经网络（neural network）详解（二）. 带手算步骤，步骤清晰0基础可看

梯度下降法：
机器学习/深度学习——梯度下降法（Gradient descent）详解. 步骤清晰 0基础可看

模型的过拟合与欠拟合：
机器学习/深度学习——模型的欠拟合和过拟合，正则化方法详解

（1）混淆矩阵

我们需要先了解如下概念：

它是一个表格，用于描述分类模型的预测结果与实际标签之间的关系。混淆矩阵的基本元素包括：

True Positives (TP): 真正例，模型正确预测为正类的样本数量。
True Negatives (TN): 真负例，模型正确预测为负类的样本数量。
False Positives (FP): 假正例，模型错误预测为正类的样本数量（也称为第一类错误）。
False Negatives (FN): 假负例，模型错误预测为负类的样本数量（也称为第二类错误）。

如下图所示展示了4个指标以及TRP和FPR的概念

总结

评估指标列表

1.Accuracy (准确率)

• 来源：正确分类的样本占总样本的比例
• 作用：衡量模型整体的准确性
• 公式：$\text{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN}$

2.Precision (精确度)

• 来源：预测为正类中实际为正类的比例
• 作用：衡量模型预测为正类的准确性
• 公式：$\text{Precision}=\frac{TP}{TP+FP}$

3.Recall (召回率, 真正例率)

• 来源：实际为正类中被正确预测的比例
• 作用：衡量模型捕捉所有正类样本的能力
• 公式：$\text{Recall}=\frac{TP}{TP+FN}$

4.F1 Score (F1分数)

• 来源：精确度和召回率的调和平均数
• 作用：平衡精确度和召回率，提供一个综合指标
• 公式：$F1=2\times \frac{\text{Precision}\times \text{Recall}}{\text{Precision}+\text{Recall}}$

5.Specificity (特异性, 真负例率)
在计算公式上：Specificity =1-误诊率

• 来源：实际为负类中被正确预测的比例
• 作用：衡量模型对负类的分类能力
• 公式：$\text{Specificity}=\frac{TN}{TN+FP}$

6.敏感度（Sensitivity, TPR）
在计算公式上：Sensitivity =1-漏诊率
敏感度是真正例（TP）占实际正类（TP + FN）的比例。
$TPR=\frac{TP}{TP+FN}$

7.Negative Predictive Value (NPV, 负预测值)

• 来源：预测为负类的样本中实际为负类的比例
• 作用：衡量模型预测为负类的准确性
• 公式：$NPV=\frac{TN}{TN+FN}$

8.False Positive Rate (FPR, 假正例率，误诊率)
将得病称为正例（Positive）。
健康称为负例（Negative）。
误诊就是将没有病的人诊断为有病，也就是假正例率。

• 来源：实际为负类中被错误预测为正类的比例
• 作用：衡量模型将负类错误分类为正类的频率
• 公式：$FPR=\frac{FP}{TN+FP}$

9.False Negative Rate (FNR, 假负例率，漏诊率)
漏诊就是将有病的人诊断为健康，也就是假负例率。

• 来源：实际为正类中被错误预测为负类的比例
• 作用：衡量模型将正类错误分类为负类的频率
• 公式：$FNR=\frac{FN}{TP+FN}$

10. AUC-ROC (接收者操作特征曲线下面积)

• 来源：ROC曲线下面积
• 作用：提供一个模型在不同阈值下性能的综合评估
• 公式：通常不直接给出，而是通过计算不同阈值下的TPR和FPR

11. AUC-PR (精确率-召回率曲线下面积)
    • 来源：PR曲线下面积
    • 作用：特别适用于不平衡数据集，提供一个模型性能的综合评估
    • 公式：同样不直接给出，通过计算不同阈值下的精确度和召回率