逻辑回归模型梳理

逻辑回归的原理

逻辑回归由于历史原因称作“回归”，但它其实主要用于解决分类问题。逻辑回归有“二分类”问题和“多分类”问题之分，以下以“二分类”问题为例说明逻辑回归的原理。

在“二分类”问题中，y通常只有两个取值：0和1. 通常，0代表反例，1代表正例。一般情况下，取 0.5 为阙值。若模型预测值$h_{\theta }(x)\ge 0.5$ ,则最终预测为 “1” 类；若模型预测值$h_{\theta }(x)<0.5$ ,则最终预测为 “0” 类.

逻辑回归的基本模型 如下所示：
$$h_{\theta }(x)=g({\theta }^{T}x)$$
其中$g(z)$为 sigmoid 函数，具体形式如下：
$$g(z)=\frac{1}{1+e^{-z}}$$
最终的形式为
$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
可以看到逻辑回归的基本模型是在线性回归模型的基础上外套了一个 sigmoid 函数。

为什么要这样做呢？因为逻辑回归要处理的数据的 y（被解释变量）只有两个取值：0和1 ，在线性回归模型外外面套了一个 sigmoid 函数可以保证逻辑回归的预测值$h_{\theta }(x)$取值在0,1之间，即$0\le h_{\theta }(x)\le 1$.

对于$h_{\theta }(x)$的值的可以理解为：对于输入的已知条件（自变量x），事件发生（y=1）的估计概率，即$h_{\theta }(x)=P(y=1|x;\theta )$.

决策边界(Decision Boundary)： 将“0”类与“1”类分开的界线，是假设模型(hypothesis)的属性，决定于模型的参数$\theta$，而非数据集。

逻辑回归的损失函数

在线性回归模型中，使用的代价函数为$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$,线性回归的模型预测值为 $h_{\theta }(x)={\theta }^{T}x$. 在逻辑回归中，如果使用相同的代价函数，只是把 $h_{\theta }(x)={\theta }^{T}x$ ，换成 $h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$ 会使得代价函数 $h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$ 变成一个非凸函数，那么在使用梯度下降法对模型进行优化时，就会出现只能得到许多个局部最优解的问题，这对我们寻找全局最优解不利。为了解决这个问题，我们需要寻找新的代价函数，使得新的代价函数是凸函数，这样在梯度优化中才能方便地得到全局最优解。

利用极大似然法推导得到了逻辑回归的代价函数为
$$cost(h_{\theta }(x),y)=\{\begin{array}{ll}-\log (h_{\theta }(x)),& \\ -\log (1-h_{\theta }(x)),& \end{array}$$