深度学习笔记（04）：logistic逻辑回归损失函数

为什么需要定义逻辑回归损失函数？
为了训练logistic回归模型中的参数W和参数b。
网络的训练输出y_hat是对一个训练样本而言的，

网络训练的输出不可能和对应的标签一模一样。比如训练样本的标签是1，样本的输出不会是1，可能会是0.1，也有可能是0.5。
输出值与标签值之间存在一个差值，
比如说第一次训练得到的输出y_hat=0.3，差值0.7
第二次训练输出y_hat = 0.2，差值0.8
通过这样一个差值我们可以知道，网络训练的效果是变得越来越差的。

逻辑回归损失函数就是一个以预测值与标签值之间的差值 即 y_hat - y作为自变量的函数。衡量网络训练效果是变好还是变坏。如果说逻辑回归损失函数的值越大，网络训练的效果是变差了。

一般实际上的逻辑回归损失函数的定义如上图红框。
直观地看为什么这个损失函数能起作用，红框下面也给出了两个例子。
如果 y = 1, L = -log(y_hat)，当y_hat越趋近于1时，根据对数函数的性质，如果想让损失值L越小，y_hat应该也越趋近于1。也可以反过来说，y = 1，y_hat越趋近于1，L的值越就会越趋近于0。

如果 y = 0, L = log(1-y_hat)，当y_hat越趋近于0时，根据对数函数的性质，如果想让损失值L越小，y_hat应该也越趋近于0。也可以反过来说，y = 0，y_hat越趋近于0，L的值越就会越趋近于0。

损失函数是在单个训练样本中定义的，那么损失函数衡量的就不是网络对于整个训练集的表现，而是衡量网络对于单个训练样本上的表现。

为了衡量网络对于整个训练样本的表现，又再定义一个成本函数J：

即成本函数 = 整个训练集的损失函数值求和再平均。
对于二分类问题，要想让网络训练出更好的W和b，就让成本函数J尽可能的小。这个总体成本函数J与训练的参数W和b相关。