Youden指数

一、定义

ROC曲线（Receiver Operating Characteristic curve）是一种用于评估二元分类模型性能的图形工具。它以不同的分类阈值为基础，绘制了真正例率（True Positive Rate，又称敏感性或灵敏度）与假正例率（False Positive Rate）之间的关系曲线。在ROC曲线上，横轴代表假正例率（FPR），纵轴代表真正例率（TPR），曲线上的每个点对应着一个特定的分类阈值下模型的性能表现。

Youden指数（Youden's Index）是一种常用于选择最佳分类阈值的统计度量，它定义为：

Youden指数 = 真正例率（TPR） - 假正例率（FPR）

Youden指数的取值范围在-1到1之间，其值越接近1表示模型的性能越好。通常情况下，选择使Youden指数最大化的分类阈值，可以使模型在平衡了敏感性和特异性的情况下取得最佳性能。

换句话说，Youden指数帮助你在考虑真正例率和假正例率之间的权衡关系时，选择最优的分类阈值，以满足特定任务的需求。一般来说，Youden指数较高的分类阈值可以提高模型的整体性能，但在实际应用中，你可能需要根据具体情况来平衡不同的性能指标。

二、如何获取Youden指数

1. 训练你的二元分类模型，并使用验证集（validation set）或交叉验证（cross-validation）来评估模型的性能。确保在训练过程中记录模型在不同阈值下的真正例率（TPR）和假正例率（FPR）。

2. 绘制ROC曲线，横轴是FPR，纵轴是TPR。这样你就会得到一个关于模型性能的曲线，通常是一个从左上角（0, 1）到右下角（1, 0）的曲线。

3. 计算不同阈值下的Youden指数，Youden指数计算公式是：

   Youden指数 = TPR - FPR

   对于每个阈值，计算对应的TPR和FPR，然后计算出Youden指数。

4. 找到Youden指数最大的那个阈值，这个阈值被认为是最优的分类阈值。这个阈值对应的模型性能在平衡了敏感性和特异性的情况下达到了最佳。

5. 使用最优阈值来进行最终的模型预测。在测试数据上评估模型的性能，确保你的模型在实际应用中表现良好。

三、示例

（一）基于验证集

1. 训练你的CNN模型，并记录验证集上的性能指标，如准确率、精确度、召回率等。在你的代码中，你已经定义了METRICS来跟踪这些指标。

2. 在训练完成后，使用模型来进行验证集上的预测，得到模型的预测结果。

3. 根据不同的阈值，计算模型的真正例率（TPR）和假正例率（FPR）。这可以通过比较模型的预测结果与验证集的真实标签来实现。以下是一个示例代码来计算TPR和FPR：

from sklearn.metrics import confusion_matrix

# 使用模型进行验证集上的预测
y_pred = model.predict(val_data_gen)

# 使用不同的阈值来计算TPR和FPR
thresholds = np.arange(0, 1.05, 0.05)
tpr_list = []
fpr_list = []

for threshold in thresholds:
    y_pred_binary = (y_pred > threshold).astype(int)
    tn, fp, fn, tp = confusion_matrix(y_val, y_pred_binary).ravel()
    tpr = tp / (tp + fn)
    fpr = fp / (fp + tn)
    tpr_list.append(tpr)
    fpr_list.append(fpr)

 计算每个阈值下的Youden指数：

youden_scores = [tpr - fpr for tpr, fpr in zip(tpr_list, fpr_list)]

找到Youden指数最大的阈值：

best_threshold_index = np.argmax(youden_scores)
best_threshold = thresholds[best_threshold_index]

现在，best_threshold 就是根据Youden指数确定的最佳分类阈值。

使用最佳阈值来进行最终的模型预测，你可以将best_threshold 应用于模型的输出，将输出结果二值化为预测类别。这样，你就可以根据Youden指数来确定最佳分类阈值，以满足你在分类任务中的性能需求。

（二）基于验证集 

基于训练集的ROC曲线和Youden指数来确定分类阈值的一般步骤：

1. 训练你的CNN模型，并使用训练集和验证集来评估模型的性能。确保在训练过程中记录模型在不同阈值下的真正例率（TPR）和假正例率（FPR），同时记录训练集和验证集上的这些值。

2. 绘制训练集上的ROC曲线，并计算不同阈值下的Youden指数。这里的关键是要使用训练集上的性能指标来计算Youden指数。以下是一个示例代码来计算训练集上的Youden指数：

from sklearn.metrics import roc_curve, auc

# 使用模型进行训练集上的预测
y_train_pred = model.predict(train_data_gen)

# 计算训练集上的FPR和TPR
fpr_train, tpr_train, thresholds_train = roc_curve(y_train, y_train_pred)

# 计算不同阈值下的Youden指数
youden_scores_train = tpr_train - fpr_train

# 找到训练集上Youden指数最大的阈值
best_threshold_train_index = np.argmax(youden_scores_train)
best_threshold_train = thresholds_train[best_threshold_train_index]

 使用训练集上找到的最佳阈值来进行最终的模型预测，将输出结果二值化为预测类别。

注意，使用训练集上的Youden指数来确定分类阈值可能会导致过拟合的风险，因为模型可能在训练集上表现得很好，但在未见过的数据上性能不佳。因此，仍建议在验证集上验证模型性能，以确保模型的泛化能力。最终的阈值选择应该根据验证集性能来决定，而不仅仅依赖于训练集上的性能指标。