51-逻辑回归的损失函数

逻辑回归的损失函数

  上一篇博客我们介绍了逻辑回归的大致框架，通过 $Sigmoid$ 函数得出了这个式子：

  
  现在的问题就是我们怎么建模来求出 $\theta$？逻辑回归和线性回归最大的区别就是逻辑回归解决的是分类问题，所以给出来的数据 $y$ 要么是 1，要么是 0，而我们是根据估计出来的 $p$ 来决定我们估计的 $y$ 到底是 1 还是 0，那么它分成了两类。相应的，我们的损失函数也分成两类（下面的 $y$ 是真值）：

  也就是给定的样本的真值为 1 的话，那么我们估计出来的 $p$ 越小，意味着我们最后得到的 $y$ 的预测值越接近于 0，那么我们的损失就越大。 相反同理。‘

  那么我们应该使用什么样的函数满足 $cost$ 的特征呢？我们使用这样一个式子：

  
  看起来非常复杂，其实很容易理解。下面我们逐一开始分析，我们先从 $y=1$ 开始，我们先来看看 $log(x)$ 这根曲线是什么样子的：
  

  
  但是我们的损失函数是 $-log(x)$，它与 $log(x)$ 是关于 $x$ 轴对称的 。

  
  这里需要注意，由于我们传入的 $p$ 的值只在 0-1 之间。

  
  很容易发现当 $p=0$ 时，$cost$ 值趋近于正无穷，此时损失很大；当 $p=1$ 时，$cost$ 值等于 0，此时没有损失。

  下面我们再来看看 $-log(1-x)$ 是什么样子的曲线：

  
  因为 $p$ 的取值也在 0-1 之间，所以我们只看 0-1 之间的部分。当 $x=1$ 时，$y$ 无限趋近于 1。

  
  但是使用这种函数要分情况讨论，这显然是不方便的。那么我们可以通过一个手段将它们合成一个函数：

  
  通过这样一个式子，我们通过 $p$ 求出了相应的损失是多少。我们会有 $m$ 个样本，我们只需要将 $m$ 个样本的损失加在一起就得到了我们的损失函数 $J(\theta )$。

  
  而 $p$ 的计算式子如下：

  
  那么我们将 $J(\theta )$ 中的 $p$ 进行替换，就会得到：

  
  这样我们就求出了对于逻辑回归来说相应的损失函数。下面我们要做的事情就是找到一组 $\theta$，使得 $J(\theta )$ 尽可能小。

  对于 $J(\theta )$，我们没有一个公式来求解出相应的 $\theta$ 的值，我们只能够使用梯度下降法进行求解。