Keras： model.compile中自定义loss函数

_rowen

已于 2024-03-19 20:51:00 修改

阅读量860

点赞数 9

分类专栏： TF/Keras Debug 文章标签： keras 人工智能 tensorflow

于 2024-03-17 23:59:19 首次发布

本文链接：https://blog.csdn.net/Terminal_wen/article/details/136793507

版权

TF/Keras Debug 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

本文介绍了三种在Keras中实现自定义损失函数的方式：方式1适用于简单的loss，如MSE、MAE等；方式2是通过创建自定义层处理复杂损失，支持多输入；方式3提供了一种便捷的方法，通过在网络结构中预先计算特定loss并级联。作者还给出了多个损失函数示例，包括交叉熵、KL散度等。

摘要由CSDN通过智能技术生成

方式1 只含参数y_true和y_pred

特点：适合只利用y_true和y_pred设计简单的loss，比如MSE、MAE、交叉熵loss等等

import keras.backend as K

"""
    这里定义model
"""


# 只含参数 y_true, y_pred
# MSE loss
def mean_squared_error(y_true, y_pred):
    
    # 这里自己写，或者直接return
    return K.mean(K.square(y_pred - y_true), axis=-1)


model.compile(optimizer='rmsprop',
              loss=mean_squared_error,                 # 这里对应上面loss函数名称即可
              metrics=['accuracy', mean_pred])




"""
   下面为其他loss函数，可替换上面的MSE loss
"""

def mean_absolute_error(y_true, y_pred):
    return K.mean(K.abs(y_pred - y_true), axis=-1)


def mean_absolute_percentage_error(y_true, y_pred):
    diff = K.abs((y_true - y_pred) / K.clip(K.abs(y_true), K.epsilon(), np.inf))
    return 100. * K.mean(diff, axis=-1)


def mean_squared_logarithmic_error(y_true, y_pred):
    first_log = K.log(K.clip(y_pred, K.epsilon(), np.inf) + 1.)
    second_log = K.log(K.clip(y_true, K.epsilon(), np.inf) + 1.)
    return K.mean(K.square(first_log - second_log), axis=-1)


def squared_hinge(y_true, y_pred):
    return K.mean(K.square(K.maximum(1. - y_true * y_pred, 0.)), axis=-1)


def hinge(y_true, y_pred):
    return K.mean(K.maximum(1. - y_true * y_pred, 0.), axis=-1)


def categorical_crossentropy(y_true, y_pred):
    '''Expects a binary class matrix instead of a vector of scalar classes.
    '''
    return K.categorical_crossentropy(y_pred, y_true)


def sparse_categorical_crossentropy(y_true, y_pred):
    '''expects an array of integer classes.
    Note: labels shape must have the same number of dimensions as output shape.
    If you get a shape error, add a length-1 dimension to labels.
    '''
    return K.sparse_categorical_crossentropy(y_pred, y_true)


def binary_crossentropy(y_true, y_pred):
    return K.mean(K.binary_crossentropy(y_pred, y_true), axis=-1)


def kullback_leibler_divergence(y_true, y_pred):
    y_true = K.clip(y_true, K.epsilon(), 1)
    y_pred = K.clip(y_pred, K.epsilon(), 1)
    return K.sum(y_true * K.log(y_true / y_pred), axis=-1)


def poisson(y_true, y_pred):
    return K.mean(y_pred - y_true * K.log(y_pred + K.epsilon()), axis=-1)


def cosine_proximity(y_true, y_pred):
    y_true = K.l2_normalize(y_true, axis=-1)
    y_pred = K.l2_normalize(y_pred, axis=-1)
    return -K.mean(y_true * y_pred, axis=-1)

方式2 将自定义loss写为层（可实现多输入）

特点：适合利用多输入设计复杂loss，比如计算网络中任意两个特征之间的距离等等

参考：

Keras中自定义复杂的loss函数 - 科学空间|Scientific Spaces (kexue.fm)

keras 自定义 loss损失函数， sample在loss上的加权和 metric_keras add_loss-CSDN博客

Keras中无损实现复杂（多入参）的损失函数 - 知乎 (zhihu.com)

Faster R-CNN系列（三）：用keras构建多输入-多输出-多自定义loss的模型_keras 多输出自定义损失层-CSDN博客

方式3 重点：如何只利用参数y_true和y_pred实现自定义loss？

特点：方式2的便捷版，但适用情况有限

思路：根据自己的网络模型，将要添加的loss，比如网络中两个分支的特征feature1和feature2做L2范数loss，这时候可以在网络中提前算好特征feature1和feature2的L2 loss，然后将输出结果和y_pred做级联，再在方式1的写法中，拆开即可

注意：本方式仅适合临时凑活用（懒得调了）

import keras.backend as K


"""
    这里定义model
"""
def model():
    input = 
    feature1 = Conv2D(...)(input)
    feature2 = Conv2D(...)(...)

    
    output= Conv2D(...)(...)

    # 这里先计算feature1和feature2 之间的距离
    loss_dis_feature = ...
    output = Lambda(tf.concat)([output, loss_dis_feature])
    
    return model(input, output)




def custom_loss(y_true, y_pred):
    
    
    # 将y_pred中拆分出loss_dis_feature
    loss1 = loss_dis_feature


    # 这里时原始的的loss，由y_true, y_pred计算得到
    loss2 = K.mean(K.square(y_pred - y_true), axis=-1)

    return loss1 + loss2

model.compile(optimizer='rmsprop',
              loss=custom_loss,                   # 这里返回函数名称 
              metrics=['accuracy', mean_pred])