常见损失函数总结

常见损失函数

• 损失函数： 用来评价模型的预测值和真实值不一致的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。

0-1损失函数(zero-one loss)

• 公式：$$L(Y,f(X))=\{\begin{array}{ll}1& Y=f(X)\\ 0& Y\ne f(X)\end{array}$$即预测值等于真实值则损失为0，否则损失为1
• 0-1损失函数对应分类错误的个数，但是它是一个非凸函数,不太适用.

均方差损失损失函数

• 均方差Mean Squared Error(MSE)损失是机器学习、深度学习回归任务中最常用的一种损失函数，也称为L2 Loss。其基本形式如下：$$J_{MSE}=\frac{1}{N}\sum _{i=1}^N(y_i-\widehat{y_i}{)}^2$$
• 均方误差的由来：
  • 实际上在一定的假设下，我们可以使用最大化似然得到均方差损失的形式。
  • 假设模型预测$(\widehat{y_i})$与真实值$(y_i)$之间的误差服从标准正太分布：$$p(x)=\frac{1}{\sqrt{2\pi }}exp(\frac{x^2}{2})$$
  • 则给定一个样本$x_i$模型输出真实值$y_i$的概率为：$$p(y_i|x_i)=\frac{1}{\sqrt{2\pi }}exp(\frac{y_i-{\widehat{y_i}}^2}{2})$$
  • 进一步我们假设数据集中$N$个样本点之间相互独立，则给定所有$X$输出所有真实值$Y$的概率，即似然函数为：$$L(X,Y)=\prod _{i=1}^N\frac{1}{\sqrt{2\pi }}exp(\frac{y_i-{\widehat{y_i}}^2}{2})$$
  • 取对数,得到对数似然函数：$$LL(X,Y)=log(L(X,Y))=-\frac{N}{2}log2\pi -\frac{1}{2}\sum _{i=1}^N(y_i-\widehat{y_i}{)}^2$$
  • 那最大似然估计，就可以通过最小化最后一项来实现：$$NLL(X,Y)=-\frac{1}{2}\sum _{i=1}^N(y_i-\widehat{y_i}{)}^2$$
  • 可以看到实际上就是均方差损失的形式。也就是假设模型输出与观察值的误差服从高斯分布的前提下，最小化均方差损失函数与极大似然估计本质上是一致的。

绝对值损失函数

• 平均绝对误差Mean Absolute Error(MAE) 也是一种常用的损失函数，也称为 L1 Loss。其基本形式为绝对值损失函数是计算预测值与目标值的差的绝对值：$$J_{MAE}=|Y-f(X)|=\frac{1}{N}\sum _{i=1}^N|y_i-f(x_i)|$$
• 均方误差的由来：
  • 假设模型预测$\widehat{y_i}$与真实值$y_i$之间的误差服从拉普拉斯分布: $$p(x)=\frac{1}{2}exp(-|x|)$$
  • 则给定一个样本$x_i$模型输出真实值$y_i$的概率为：$$p(y_i|x_i)=\frac{1}{2}exp(-|y_i-\widehat{y_i}|)$$
  • 进一步我们假设数据集中$N$个样本点之间相互独立，则给定所有$X$输出所有真实值$Y$的概率，即似然函数为：$$L(X,Y)=\prod _{i=1}^N\frac{1}{2}exp(-|y_i-\widehat{y_i}|)$$
  • 取对数得到对数似然函数：$$LL(X,Y)=log(L(X,Y))=-\frac{N}{2}-\frac{1}{2}\sum _{i=1}^N|y_i-\widehat{y_i}|$$
  • 那最大似然估计，就可以通过最小化最后一项来实现：$$NLL(X,Y)=\frac{1}{2}\sum _{i=1}^N|y_i-\widehat{y_i}|$$
• MAE 和 MSE 作为损失函数的主要区别是：MSE 损失相比 MAE 通常可以更快地收敛，但 MAE 损失对于 outlier 更加健壮，即更加不易受到 outlier 影响。

交叉熵损失

• 上文介绍的几种损失函数都是适用于回归问题损失函数，对于分类问题，最常用的损失函数是交叉熵损失函数 Cross Entropy Loss。
• 二分类情况：
  • 在二分类中我们通常使用Sigmoid函数将模型的输出压缩到(0, 1)区间内，即$\widehat{y_i}\in (0,1)$
  • 通常我们将模型输出值$\widehat{y_i}$用来代表输入$x_i$为正类的概率。同时也得到了为负类的概率为$1-\widehat{y_i}$:$$p(y_i=1│x_i)=\widehat{y_i}$$$$p(y_i=0│x_i)=1-\widehat{y_i}$$
  • 将两条式子合并成一条:$$p(y_i│x_i)=(\widehat{y_i}{)}^{y_i}(1-\widehat{y_i}{)}^{1-y_i}$$
  • 假设数据点之间独立同分布，则似然函数可以表示为：$$L(X,Y)=\prod _{i=1}^N(\widehat{y_i}{)}^{y_i}(1-\widehat{y_i}{)}^{1-y_i}$$
  • 取对数，得到对数似然函数：$$LL(X,Y)=log(L(X,Y))=\sum _{i=1}^N{y}_{i}log(\widehat{y_i})+(1-y_i)log(1-\widehat{y_i})$$
  • 最大化对数似然函数，等价于最小化下面这个函数：$$NLL(X,Y)=J_{CE}=-(\sum _{i=1}^N{y}_{i}log(\widehat{y_i})+(1-y_i)log(1-\widehat{y_i}))$$
  • 下图是对二分类的交叉熵损失函数的可视化，蓝线是目标值为0(标签为0)时不同输出值的损失，黄线是目标值为1(标签为0)时的损失。可以看到越接近目标值损失越小，随着误差变差，损失呈指数增长。
    
• 多分类情况：
  • 在多分类的任务中，交叉熵损失函数的推导思路和二分类是一样的，变化的地方是真实值$y_i$现在是一个One-hot编码的向量，同时模型输出的压缩由原来的 Sigmoid 函数换成 Softmax 函数。
  • 假设真实值为：$y_i=[y_i^1,y_i^2,\dots ,y_i^K]$,其中只有一个元素$y_i^j$为1，表示$x_i$属于第$j$类,其他都为0，$K$为类别个数。模型经过Softmax函数后的输出为$\widehat{y_i}=[\widehat{y_i^1},\widehat{y_i^2},\dots ,\widehat{y_i^K}]$，其中$\widehat{y_i^j}\in (0,1)$,表示模型将$x_i$分为第$j$类的概率，并且有${\sum }_{j=1}^d\widehat{y_i^j}=1$
  • 那么分类模型的可以表示为下面的条件概率公式：$$p(y_i|x_i)=\prod _{k=1}^K(\widehat{y_i^k}{)}^{(}{y}_i^k)$$
  • 似然函数：$$L(X,Y)=\prod _{i=1}^N\prod _{k=1}^K(\widehat{y_i^k}{)}^{(}{y}_i^k)$$
  • 对数似然函数：$$LL(X,Y)=log(L(X,Y))=\sum _{i=1}^N\sum _{k=1}^K{y}_i^{k}log(\widehat{y_i^k})$$
  • 最大化对数似然函数，相当与最小化下面函数：$$NLL(X,Y)=J_{CE}=-\sum _{i=1}^N\sum _{k=1}^K{y}_i^{k}log(\widehat{y_i^k})$$
  • 由于$y_i$是中只有一个1其余都是0，所以可以写作：$$NLL(X,Y)=J_{CE}=-\sum _{i=1}^N{y}_i^{c_i}log(\widehat{y_i^{c_i}})$$$c_i$是样本$x_i$的目标类别.
• 分类使用交叉熵损失函数的原因：
  • 分类中为什么不用均方差损失？上文在介绍均方差损失的时候讲到实际上均方差损失假设了误差服从高斯分布，在分类任务下这个假设没办法被满足，因此效果会很差。
  • 为什么是交叉熵损失呢？也可以用信息论来解释交叉熵损失：
  • 假设对于样本$x_i$存在一个最优分布$y_i^{\ast }$真实地表明了这个样本属于各个类别的概率，那么我们希望模型的输出$\widehat{y_i}$尽可能地逼近这个最优分布.
  • 在信息论中，我们可以使用 KL散度来衡量两个分布的相似性。给定分布$p$和分布$q$，两者的 KL 散度公式：$$KL(p,q)=\sum _{k=1}^{K}plog(p)-\sum _{k=1}^{K}plog(q)$$其中第一项为分布$p$的信息熵，第二项为分布$p$和$q$的交叉熵。
  • 将$y_i^{\ast }$和$\widehat{y_i}$ 带入公式得到：$$KL(y_i^{\ast },\widehat{y_i})=\sum _{k=1}^K{y}_i^{\ast }log(y_i^{\ast })-\sum _{k=1}^K{y}_i^{\ast }log(\widehat{y_i})$$
  • 由于我们希望两个分布尽量相近，因此我们最小化KL散度。同时由于上式第一项信息熵仅与最优分布$y_i^{\ast }$本身相关，变成最小化最后一项：$$-\sum _{k=1}^K{y}_i^{\ast }log(\widehat{y_i})$$
  • 这个是针对单个训练样本的损失函数，如果考虑整个数据集，则：$$J_{CE}=-\sum _{i=1}^N\sum _{k=1}^K{y}_i^{k}log(\widehat{y_i^k})=-\sum _{i=1}^N{y}_i^{c_i}log(\widehat{y_i^{c_i}})$$
  • 可以看到通过最小化交叉熵的角度推导出来的结果和使用最大 化似然得到的结果是一致的

合页损失Hinge Loss

• 合页损失Hinge Loss是另外一种二分类损失函数，适用于maximum-margin的分类，软间隔支持向量机模型的损失函数本质上就是 Hinge Loss + L2 正则化。
• 合页损失的公式如下：$$J_{hinge}=\sum _{i=1}^{N}max(0,1-sgn(y_i)\widehat{y_i})$$
• 下图是$y_i$正类，即$sgn(y_i)=1$时，不同输出的合页损失示意图:
  
• 可以看到当$y_i$为正类时，模型输出负值会有较大的惩罚，当模型输出为正值且在 $(0,1)$区间时还会有一个较小的惩罚。即合页损失不仅惩罚预测错的，并且对于预测对了但是置信度不高的也会给一个惩罚，只有置信度高的才会有零损失。使用合页损失直觉上理解是要找到一个决策边界，使得所有数据点被这个边界正确地、高置信地被分类。

参考连接：https://zhuanlan.zhihu.com/p/77686118