机器学习中val_如何在Keras中自定义机器学习性能指标

Keras提供的指标使我们能够评估深度学习模型的性能。由于Keras提供了大量指标，因此为生产模型选择理想指标是一项复杂的工作。在某些情况下，您可能必须自定义指标(因为Keras根本无法提供所需的指标)，这会影响模型的最终性能。

在本教程中，我们不会深入探讨每一个指标或何时使用它，我们将使用Keras构建几个简单的自定义指标，以进行二元分类。

请始终参考下面的混淆矩阵以了解其余内容。

混淆矩阵

首先，我们从导入必要的Python库开始。

import keras.backend as K

精度(Precision)

def precision(y_true, y_pred):    true_positives = K.sum(K.round(K.clip(y_true * y_pred, 0, 1)))    predicted_positives = K.sum(K.round(K.clip(y_pred, 0, 1)))    return true_positives / (predicted_positives + K.epsilon())

我们需要记住，y_true和y_pred的操作不是NumPy数组，而是Theano或Tensorflow张量。这就是为什么我们将Keras后端提供的操作用于指标的原因。

召回率(Recall)或灵敏度(Sensitivity)

def recall(y_true, y_pred):     true_positives = K.sum(K.round(K.clip(y_true * y_pred, 0, 1)))    possible_positives = K.sum(K.round(K.clip(y_true, 0, 1)))    return true_positives / (possible_positives + K.epsilon())

特异性(Specificity)

def specificity(y_true, y_pred):    true_negatives = K.sum(K.round(K.clip((1 - y_true) * (1 - y_pred), 0, 1)))    possible_negatives = K.sum(K.round(K.clip(1 - y_true, 0, 1)))    return true_negatives / (possible_negatives + K.epsilon())

F beta分数

def f_beta_m(y_true, y_pred):    beta = 1    precision = precision_m(y_true, y_pred)    recall = recall_m(y_true, y_pred)    numer = (1 + beta ** 2) * (precision * recall)    denom = ((beta ** 2) * precision) + recall + K.epsilon()    return numer / denom

在F-beta分数中选择beta时，您越想关注召回率而不是精度，应该选择更高的beta。例如，对于F1分数，我们同样关心recall和precision，对于F2分数，recall对我们来说是两倍重要。

在0 1时，我们的最佳阈值朝着更低的阈值移动，当beta = 1时，它处于中间位置。

特异性(Specificity)/灵敏度(Sensitivity)

它是特异性和灵敏度的平均值，我们将其称为average_metric。请注意，灵敏度与前面定义的recall是同一个函数。

def average_metric(y_true, y_pred):    spec = specificity(y_true, y_pred)    sens = sensitivity(y_true, y_pred)    return  0.5 * (spec + sens)

另外，为了确保我的模型不会在某个类上过度拟合，我倾向于在average_metric中添加一个条件操作，我们将调用新指标conditional_average_metric。这背后的直觉是监测灵敏度和特异性的值，如果它们中的任何一个下降到某个水平以下，那么我们将大幅降低所述度量的最终值。

之所以这样做，是因为在训练模型时，Keras并没有在每个epoch之后保存每个模型，而是为我们提供了监视度量的选项，并根据监视的数量保存最新的最佳模型。

def conditional_average_metric(y_true, y_pred):    spec = specificity(y_true, y_pred)    sens = sensitivity(y_true, y_pred)    minimum = K.minimum(spec, sens)    condition = K.less(minimum, 0.5)    multiplier = 0.001    # This is the constant used to substantially lower    # the final value of the metric and it can be set to any value    # but it is recommended to be much lower than 0.5    result_greater = 0.5 * (spec + sens)    result_lower = multiplier * (spec + sens)    result = K.switch(condition, result_lower, result_greater)    return result

使用首选指标定义机器学习模型

首先，建立模型并选择您想要监视的首选指标。我们将在这个例子中继续有三个指标，即conditional_average_metric，specificity，sensitivity。

model = Sequential().....model.add(Dense(1))model.add(Activation('sigmoid'))model.compile(optimizer, loss='binary_crossentropy', metrics=[conditional_average_metric, specificity, sensitivity])

训练机器学习模型并保存最佳模型

尽管我们在训练过程中使用了三个指标，但我们应该仅选择其中一个指标，即conditional_average_metric，来保存基于它的模型。训练模型时，基于监视指标的最佳性能模型将自动保存到指定路径。

monitor = 'val_conditional_average_metric'checkpoint = ModelCheckpoint(model_path, monitor=monitor, verbose=1, save_best_only=True, mode='max')callbacks_list = [checkpoint]history = model.fit(trainX, trainY, epochs=epochs, batch_size=batch_size, validation_data=(testX, testY),callbacks=callbacks_list)

加载预训练机器学习模型

完成训练过程后，我们可以按如下所示再次加载机器学习模型。

model = load_model(model_path, custom_objects={'conditional_average_metric': conditional_average_metric, 'specificity': specificity, 'sensitivity': sensitivity})