Logistics Regress(逻辑回归)

模型构建

在介绍Logistic Regression之前我们先简单说一下线性回归，，线性回归的主要思想就是通过历史数据拟合出一条直线，用这条直线对新的数据进行预测，线性回归可以参考我之前的一篇

我们知道，线性回归的公式如下： 

                                        

而对于Logistic Regression来说，其思想也是基于线性回归（Logistic Regression属于广义线性回归模型）。其公式如下：

                                                    

其中，

                                                                        

sigmoid的函数图形如下：

                                                

我们可以看到，sigmoid的函数输出是介于（0，1）之间的，中间值是0.5，于是之前的公式 hθ(x)hθ(x) 的含义就很好理解了，因为 hθ(x)hθ(x) 输出是介于（0，1）之间，也就表明了数据属于某一类别的概率，例如 ： 
hθ(x)hθ(x)<0.5 则说明当前数据属于A类； 
hθ(x)hθ(x)>0.5 则说明当前数据属于B类。 
所以我们可以将sigmoid函数看成样本数据的概率密度函数。

有了上面的公式，我们接下来需要做的就是怎样去估计参数 θθ 了。

首先我们来看， θθ 函数的值有特殊的含义，它表示 hθ(x)hθ(x) 结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为： 

                                                        

                                                       

极大似然估计

根据上式，接下来我们可以使用概率论中极大似然估计的方法去求解损失函数，首先得到概率函数为：

                                                           

                                                        

取对数似然函数： 

最大似然估计就是要求得使 l(θ)l(θ) 取最大值时的 θθ ，这里可以使用梯度上升法求解。我们稍微变换一下：

                                                        

因为乘了一个负的系数然后就可以使用梯度下降算法进行参数求解了。梯度下降具体就不在这里多说了