吴恩达老师DeepLearning系列课程最详细学习笔记之24—Logistic损失函数的解释

  教程是本人学习吴恩达老师DeepLearing系列课程中整理的最为详细的学习笔记。学习视频主要来自B站[双语字幕]吴恩达深度学习deeplearning.ai_哔哩哔哩_bilibili?，以及DeepLearning官方网站Deep Learning by deeplearning.ai | Coursera。该系列课程总共有180多个，我会将学习笔记陆续分享出来，为有兴趣深度学习的同仁提供便利。再次由衷感谢吴恩达老师的精彩讲解和无私奉献！

特别说明：图片来源于吴恩达老师视频截图。

 

 

 

 

 

 附文本

 
在前面的视频中，我们已经写出了logistic回归的成本函数的表达式，在这节视频中，我将给出一个简洁的证明，来说明logistic回归成本函数的表达式为什么是这种形式。
回想一下，在logistic回归中，需要预测的结果y ̂可以表示为σ(w^T x+b)。sigmoid是我们熟悉的函数 ，我们约定y ̂=P(y=1│x)即算法的输出y ̂是给定训练样本条件下y等于1的概率 。话句话说，如果y=1，那么在给定x得到y=1的概率等于y ̂。反过来说，如果y=0，在给定x得到y=0的概率是1-y ̂。因此，y ̂表示的y=1的概率，那么1-y ̂就是y=0的概率。 
接下来，我们把这两个式子，复制到下一页幻灯片。对于这两个式子，y=0和y=1条件下，定义了P(y|x)  。我们可以将这两个公式合并成一个公式。需要指出的是，我们讨论的是二分分类问题的成本函数，因此y的取值只能是0或者1。上述的两个条件概率公式，可以合并成下面这样 ，这个表达式，包含了上面的两个条件概率公式。
解释一下。第一种情况，假设y=1时，这 一项的结果就是 ， 的结果就是 。所以当y=1时，这个方程变为了P(y|x)= y ̂，这就是我们想要的 。
第二种情况，当y=0时，P(y|x)等于多少呢？因此，在这里当y=0时， 为 即为1，所以P(y|x)就等于 ，即1-y ̂  。因此在这里当y等于0时，P(y|x)= 1-y ̂ ，正好是上面的式子。 
因此，刚才的推导表明的这个式子P(y│x)=y ̂^y (1-y ̂ )^((1-y) )就是 P(y│x)的正确定义。由于log函数是严格单调递增的函数，最大化log(P(y|x))等价于最大化P(y|x)，计算log(P(y|x))就等于计算log⁡(y ̂^y (1-y ̂ )^((1-y) ) )=ylogy ̂+(1-y)log(1-y ̂ )  。而这就是我们前面提到的损失函数的负值 。前面有一个负号，因为通常在训练一个学习算法的时候，我们想让算法输出值的概率变大，然而在logistic回归中，我们这样 来表示，我们想要最小化 这个损失函数。因此最小化损失函数就是最大化概率的对数log(P(y|x))，因此这就是单个训练样本的损失函数表达式。那么成本函数（代价函数）呢？m个训练样本的总体成本函数如何表示？
让我们一起来探讨一下整个训练集中标签的概率。更正式的写一下，假设所有的训练样本服从同一分布且相互独立，也即，独立同分布的，所有这些样本的联合概率，就是每个样本的概率的乘积，从1到m的P(y(i)|x(i))的概率乘积 。如果你想做最大似然估计，需要寻找一组参数，使得给定样本的观测值概率最大。但最大化这个式子本身和最大化它的对数效果相同，所以在方程两边取对数，依据乘积对数等于对数的和的性质，训练集的标签出现概率的对数就是从1到m对log(P(y(i)|x(i)))求和 。前面的视频中讲过，log(P(y(i)|x(i)))=-L(y ̂^((i) ),y^((i) ))。在科学统计里，有一个方法叫最大似然估计，即求出一组参数，使这个式子取最大值，也就是说使得这个式子取最大值负1乘以从1到m对-L(y ̂^((i) ),y^((i) ))求和，可以将负号移到求和符号的外面 ，这样我们就推导出了前面给出的logistic回归的成本函数J(w,b)  。
由于训练模型时，目标是让成本函数最小化，所以我们不是直接用最大似然概率，因此要去掉求和符号外面的负号。最后为了方便，可以对成本函数进行适当的缩放使得这些数值处于更好的尺度上，我们就在前面加上一个额外的常数因子1/m。
 
综上，通过最小化代价函数J(w,b)，实际上对逻辑回归模型进行了最大似然估计，这是基于训练样本是独立同分布的假设之上的。谢谢你看这个视频，即使这是选看的。希望它帮助你理解为什么我们将这个代价函数用于逻辑回归的实际学习算法。我希望你继续完成练习，本周编程练习和回答题。祝你在接下来的测试和编程练习中好运。