神经网络常用和不常用损失函数

神经网络中常用损失函数汇总

假设训练集有N个数据对，输入数据$X$：$x_1,x_2,\cdots ,x_N$，输入数据预测值为$Y_{predict}$：$y_{predict}^1,y_{predict}^2,\cdots ,y_{predict}^N$，输入数据真实值为$Y_{true}$：$y_{true}^1,y_{true}^2,\cdots ,y_{true}^N$

mean_squared_error 均方误差

$$MSE(Y_{true},Y_{predict})=\frac{1}{N}\sum _{i=1}^N(y_{true}^i-y_{predict}^i{)}^2$$

def mean_squared_error(y_true, y_pred):
    return K.mean(K.square(y_pred - y_true), axis=-1)

mean_absolute_error：平均绝对误差

$$MAE(Y_{true},Y_{predict})=\frac{1}{N}\sum _{i=1}^N|y_{true}^i-y_{predict}^i|$$

def mean_absolute_error(y_true, y_pred):
    return K.mean(K.abs(y_pred - y_true), axis=-1)

mean_absolute_percentage_error：平均绝对百分比误差

$$MAPE(Y_{true},Y_{predict})=\frac{1}{N}\sum _{i=1}^N|\frac{y_{true}^i-y_{predict}^i}{y_{true}^i}|$$

这里要注意分母不能除0

def mean_absolute_percentage_error(y_true, y_pred):
    diff = K.abs((y_true - y_pred) / K.clip(K.abs(y_true),
                                            K.epsilon(),
                                            None))
    return 100. * K.mean(diff, axis=-1)

hinge：合页误差：

$$hinge(Y_{true},Y_{predict})=\frac{1}{N}\sum _{i=1}^N(max(1-y_{true}^i{y}_{predict}^i,0)$$

def hinge(y_true, y_pred):
    return K.mean(K.maximum(1. - y_true * y_pred, 0.), axis=-1)

squared_hinge

$$hinge(Y_{true},Y_{predict})=\frac{1}{N}\sum _{i=1}^N(max(1-y_{true}^i{y}_{predict}^i,0{)}^2$$

def squared_hinge(y_true, y_pred):
    return K.mean(K.square(K.maximum(1. - y_true * y_pred, 0.)), axis=-1)

categorical_hinge

def categorical_hinge(y_true, y_pred):
    pos = K.sum(y_true * y_pred, axis=-1)
    neg = K.max((1. - y_true) * y_pred, axis=-1)
    return K.maximum(0., neg - pos + 1.)

categorical_crossentropy：多分类交叉熵

多类交叉熵损失针对的是多分类问题。真实值采用one-hot编码。例如总共有3个类，第0个类表示为 （1，0，0）。假设有n个类，则第$i$个样本真实值为$y^i=(y_1^i,y_2^i,\cdots ,y_n^i)$，预测值为${\hat{y}}^i=({\hat{y}}_1^i,{\hat{y}}_2^i,\cdots ,{\hat{y}}_n^i)$，

$$categorical\_crossentropy(Y_{true},Y_{predict})=\frac{1}{N}\sum _{i=1}^N\sum _{j=1}^n{y}_j^i\log {\hat{y}}_j^i$$

sparse_categorical_crossentropy：稀疏的分类交叉熵

原理与categorical_crossentropy一样，不过真实值采用的整数编码。例如第0个类用数字0表示，第3个类用数字3表示。

binary_crossentropy：二分类交叉熵。

$$binary\_crossentropy(Y_{true},Y_{predict})=-\frac{1}{N}\sum _{i=1}^N[y_{true}^i\log (y_{pred}^i)+(1-y_{true}^i)\log (1-y_{pred}^i)]$$

当$y_{pred}^i$和$y_{true}^i$一致时（都为0或1），交叉熵为0，否则为无穷。

先汇总这么多，以后在更。