厘清逻辑回归中的损失函数与代价函数

在初步接触深度学习的过程中，最先接触到的应该就是逻辑回归，在逻辑回归中有两个非常重要的函数，损失函数与代价函数，今天带大家梳理下这两者之间的关系。

首先我们先回顾一下逻辑回归中的输出函数：

函数输入 z = x + b

经过激活函数：  

输出预测值   = σ(z) = σ(  + b)       

    

对于给定样本{}，我们想要的是预测值  接近样本真实值  ，

然后我们来解释下什么是损失函数与代价函数，以及塔门到底用来做什么。

损失函数又叫做误差函数，用来衡量预测值与实际值的偏离程度，我们在逻辑回归中定义了损失函数：

L(  ,y) = -ylog(​​​​​​​) - (1-y)log(1-​​​​​​​)

对于逻辑回归的这个损失函数，它代表了与实际值的偏离情况，我们应该让它尽可能的小。

当y = 1时，损失函数L =  -ylog(​​​​​​​)图像如下 ，如果想让L尽可能小，那么​​​​​​​要尽可能大，因为sigmoid函数取值[0,1]，所以​​​​​​​需要无限接近与1

当y = 0时，损失函数L =  - (1-y)log(1-​​​​​​​)图像如下，如果想让L尽可能小，那么​​​​​​​要尽可能小，因为sigmoid函数取值[0,1]，所以​​​​​​​需要无限接近与0

那么我们如何控制输出预测值的大小呢，回到他的表达式： ​​​​​​​  = σ(z) = σ(  + b)   

可以看出我们通过不断调整参数w与b的值来控制输出​​​​​​​的大小。

损失函数是在单个训练样本中定义的，它衡量的是算法在单个训练样本中的表现情况，为了衡量算法在全部训练样本上的表现情况，我们定义了算法的代价函数：

 ​​

损失函数是在单个样本中定义出来的，而代价函数是所有样本的代价评估。

在训练逻辑回归模型的时候，我们以让代价函数降到最低为导向，不断地优化参数w和b，这便是我们训练模型的过程。由此表明逻辑回归也可以看做是一个非常小的神经网络。调整参数的方法我们最为熟知的有梯度下降法，此篇我们不再详细说明。

本篇仅代表笔者个人理解，如有错误之处，敬请谅解。