逻辑回归原理

首先我们要知道什么是线性回归模型，，有助于我们对逻辑回归的理解，线性回归用一个线性函数对提供的已知数据进行拟合，得到一个线性函数，使这个线性函数满足我们的要求，之后我们可以利用这个函数，对给定的输入进行预测，如下图所示：

sigmoid函数与逻辑回归息息相关我们先了解一下sigmoid函数：

 

 sigmoid函数如下图所示：

从图可以看出，当z趋于-∞，g(z)趋于0，当z趋于∞，g(z)趋于1，且函数的值阈为(0,1)。原理是当z趋于-∞，g(z)趋于0，当z趋于∞，g(z)趋于1。同时可以发现当z趋于5时，g(z)的值已经到0.99附近，我们可以看作给一个x，输出情况只有0和1两种情况。

 逻辑回归本质上是线性回归，主要用于两分类问题（即输出类型只有两种），只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)（前面所说的sigmoid函数）将结果作为假设函数来预测。g(z)可以将连续值映射到0到1之间。线性回归模型的表达式带入g(z)，就得到逻辑回归的表达式:

θTx=θ0+θ1x1+θ2x2+…+θnxn(多元变量线性函数）

如果是一元线性函数，则θTx=θ0+θ1x

输出结果为1和0（分别代表两种输出情况）的概率分别是：

将（1）合并成

逻辑回归的损失函数：

我们用极大似然函数建立损失函数：（这一知识点涉及到概率论）

 由于该式比较麻烦涉及连乘法，所以我们对其取对数操作得到对数似然函数：

 我们用似然函数求的是使l(θ)最大θ的θ的值，我们可以添加负号，即转化为求最小值，可以用梯度下降法，因此我们可以建立损失函数的形式为：

 利用梯度下降法求θ

 求完θ后，给一个x,我们就可以预测y=1和y=0的概率。