神经网络常用和不常用损失函数

最新推荐文章于 2024-09-14 18:06:50 发布

回想sy

最新推荐文章于 2024-09-14 18:06:50 发布

阅读量239

点赞数

分类专栏：机器学习文章标签：神经网络深度学习人工智能

本文链接：https://blog.csdn.net/weixin_49708196/article/details/120825915

版权

机器学习专栏收录该内容

13 篇文章 1 订阅

订阅专栏

本文详细介绍了神经网络中常用的损失函数，包括均方误差（MSE）、平均绝对误差（MAE）、平均绝对百分比误差（MAPE）、合页误差（Hinge）、平方合页误差（Squared Hinge）以及多分类和二分类交叉熵。这些损失函数在训练模型时用于评估预测值与真实值之间的差异，并指导模型参数的优化。

摘要由CSDN通过智能技术生成

神经网络中常用损失函数汇总

假设训练集有N个数据对，输入数据 $X$ ： $x_1, x_2, \cdots, x_N$ ，输入数据预测值为 $Y_{predict}$ ： $y_{predict}^1, y_{predict}^2, \cdots, y_{predict}^N$ ，输入数据真实值为 $Y_{true}$ ： $y_{true}^1, y_{true}^2, \cdots, y_{true}^N$

mean_squared_error 均方误差

$MSE(Y_{true}, Y_{predict})=\frac{1}{N} \sum_{i=1}^{N}(y_{true}^i-y_{predict}^i)^2$

def mean_squared_error(y_true, y_pred):
    return K.mean(K.square(y_pred - y_true), axis=-1)

mean_absolute_error：平均绝对误差

$MAE(Y_{true}, Y_{predict})=\frac{1}{N} \sum_{i=1}^{N}|y_{true}^i-y_{predict}^i|$

def mean_absolute_error(y_true, y_pred):
    return K.mean(K.abs(y_pred - y_true), axis=-1)

mean_absolute_percentage_error：平均绝对百分比误差

$MAPE(Y_{true}, Y_{predict})=\frac{1}{N} \sum_{i=1}^{N}|\frac{y_{true}^i-y_{predict}^i}{y_{true}^i}|$

这里要注意分母不能除0

def mean_absolute_percentage_error(y_true, y_pred):
    diff = K.abs((y_true - y_pred) / K.clip(K.abs(y_true),
                                            K.epsilon(),
                                            None))
    return 100. * K.mean(diff, axis=-1)

hinge：合页误差：

$hinge(Y_{true}, Y_{predict})=\frac{1}{N} \sum_{i=1}^{N}(max(1-y_{true}^iy_{predict}^i, 0)$

def hinge(y_true, y_pred):
    return K.mean(K.maximum(1. - y_true * y_pred, 0.), axis=-1)

squared_hinge

$hinge(Y_{true}, Y_{predict})=\frac{1}{N} \sum_{i=1}^{N}(max(1-y_{true}^iy_{predict}^i, 0)^2$

def squared_hinge(y_true, y_pred):
    return K.mean(K.square(K.maximum(1. - y_true * y_pred, 0.)), axis=-1)

categorical_hinge

def categorical_hinge(y_true, y_pred):
    pos = K.sum(y_true * y_pred, axis=-1)
    neg = K.max((1. - y_true) * y_pred, axis=-1)
    return K.maximum(0., neg - pos + 1.)

categorical_crossentropy：多分类交叉熵

多类交叉熵损失针对的是多分类问题。真实值采用one-hot编码。例如总共有3个类，第0个类表示为（1，0，0）。假设有n个类，则第 $i$ 个样本真实值为 $y^i=(y_1^i, y_2^i, \cdots, y_n^i)$ ，预测值为 $\hat{y}^i=(\hat{y}_1^i, \hat{y}_2^i, \cdots, \hat{y}_n^i)$ ，