本文介绍了机器学习中的损失函数，包括分类任务中的0-1 loss、交叉熵、softmax loss、KL散度、Hinge loss等，以及回归任务中的L1 loss、L2 loss和它们的改进。特别讨论了生成对抗网络（GAN）的损失，如原始GAN、Wasserstein GAN（WGAN）和Least Squares GAN（LS-GAN），解释了它们如何解决训练稳定性问题。
加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！
同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号 ，回复 加群，立刻申请入群~
1 什么是损失函数
在机器学习中，损失函数(loss function)是用来估量模型的预测值f(x)与真实值Y的不一致程度，损失函数越小，一般就代表模型的鲁棒性越好，正是损失函数指导了模型的学习。
机器学习的任务本质上是两大类，分类问题与回归问题，再加上综合了判别模型和生成模型后在各类图像任务中大展拳脚的生成对抗网络，这一次我们就重点讲述这些内容。
2 分类任务损失
2.1、0-1 loss
0-1 loss是最原始的loss，它直接比较输出值与输入值是否相等，对于样本i，它的loss等于：
当标签与预测类别相等时，loss为0，否则为1。可以看出，0-1 loss无法对x进行求导，这在依赖于反向传播的深度学习任务中，无法被使用，0-1 loss更多的是启发新的loss的产生。
2.2、熵与交叉熵loss
在物理学有一个概念，就是熵，它表示一个热力学系统的无序程度。为了解决对信息的量化度量问题，香农在1948年提出了“信息熵”的概念，它使用对数函数表示对不确定性的测量。熵越高，表示能传输的信息越多，熵越少，表示传输的信息越少，我们可以直接将熵理解为信息量。
按照香农的理论，熵背后的原理是任何信息都存在冗余，并且冗余大小与信息中每个符号(数字、字母或单词)的出现概率或者说不确定性有关。概率大，出现机会多，则不确定性小，这个关系就用对数函数来表征。
为什么选择对数函数而不是其他函数呢？首先，不确定性必须是概率P的单调递降函数，假设一个系统中各个离散事件互不相关，要求其总的不确定性等于各自不确定性之和，对数函数是满足这个要求的。将不确定性f定义为log(1/p)=-log(p)，其中p是概率。
对于单个的信息源，信源的平均不确定性就是单个符号不确定性-logpi的统计平均值，信息熵的定义如下。
假设有两个概率分布p(x)和q(x)，其中p是已知的分布，q是未知的分布，则其交叉熵函数是两个分布的互信息，可以反应其相关程度。
从这里，就引出了分类任务中最常用的loss，即log loss，又名交叉熵loss，后面我们统一称为交叉熵：
n对应于样本数量&
最低0.47元/天 解锁文章
扫一扫
2687
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
