深度学习常见的损失函数及其用途

损失函数可以大致分为两类：分类损失（Classification Loss）和回归损失（Regression Loss）
回归函数预测实数值，分类函数预测标签
回归又分为线性回归（预测的是一个连续值）和逻辑回归（得到‘是’或‘否’）
下面介绍回归损失函数

交叉熵损失函数CE（Cross Entropy）
交叉熵表示的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵越小，两个概率分布就越接近，交叉熵公式：

其中p表示真实分布，q表示非真实分布
由于交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和sigmoid或softmax函数一起出现，其表现形式为，输出结果经过sigmoid（或softmax）函数获得概率输出，模型预测的类别概率输出与真是类别的one hot形式进行交叉熵损失函数计算
常用于解决分类问题的离散0ne-Hot（独热编码），同sigmoid同时使用，可以在一定程度熵减少梯度消散，交叉熵会输出一个更大的‘损失’
在LR（Logistic Regression）中使用交叉熵做为其损失函数
在keras里，使用binary_crossentropy 来计算二元交叉熵
对于多分类问题，使用categorical_crossentropy和sparse_categorical_crossentropy 计算softmax交叉熵

均方误差损失函数（Mean Squared Loss）
表示预测值与真实值的差值的平方和求平均
公式：l(y_i,y ̅_i )=〖1/N ∑_(i=1)^N▒( y_i-y ̅_i)〗^2

常用于解决回归问题中的连续变量，即线性回归问题

指数误差（Exponential Loss）
公式：

常用于bossting算法中，如AdaBoost

损失函数正则化方法
为防止模型过拟合，提供模型的泛化能力，通常会在损失函数的后面添加一个正则化项，L1和L2正则化可以看做是损失函数的惩罚项，所谓【惩罚】是指对损失函数中的某些参数做一些限制
加入正则化后的损失函数变为
loss=①loss（y与y_）+②REGULARIZER*loss(③w)

① 模型中所有参数的损失函数如：交叉熵、均方误差
② 用超参数REGULARIZER给出参数w在总loss中的比例，即正则化的权重
③需正则化的参数（一般不正则化b）

L1正则

L2正则

其图像解释：

正则化的选择：L1正则化大概率会使很多参数变为0，因此该方法可通过稀疏参数，即减少参数的数量，降低复杂度
L2正则化会使参数很接近0但不为0，因此该方法可通过减少参数值的大小降低复杂度

注释：由于学习此模块时，查询了很多资料，整理时已不记得原出处，如有冒犯，请指正，会将其注明，并修改