逻辑回归说明

逻辑回归说明

一般线性模型的数学定义为：
:---------: $y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_k{x}_k+\epsilon$
其中 $x_1,...,x_k$ 是自变量，$y$ 是因变量, ${\beta }_0$ 是常数项， ${\beta }_1,...,{\beta }_k$ 是回归系数。， $\epsilon$ 是随机误差项。

但是通常在研究的时候，研究的因变量是二分类的结果，比如研究驾驶技能的高低（高=1，低=0）或者是否贫困（是=1，否=0）。

在这是因变量并没有服从正态分布，而是服从二项分布，换言之因变量$y=1或=0$，均有存在的概率，对于这类问题，在使用一般的线性回归已经不能够解决。

这是可以引入广义线性回归模型，这里的广义的含义是指因变量$y$已经并不服从正态分布，而是服从二项分布、泊松分布等。

广义线性模型只是在其中加上了关联函数（连接函数），在机器学习中也叫做激活函数。

在逻辑回归中，这个关联函数是Sigmoid函数（Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。 在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间）

这一函数具有
优点：平滑、易于求导。且值域在【0,1】正好对应概率。
缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。【求解系数矩阵的时候，会有这类问题出现】

Sigmoid函数由下列公式定义
:---------: $f(x)=\frac{1}{1+e^{-x}}=\frac{e^x}{1+e^x}$
函数对应的曲线是：

那么问题在于，为什么要用这个连接函数，这个函数到底有什么用呢？其实在机器学习中叫做激活函数，没有广义线性模型（GLM）叫的直接。

因为有了这个函数，实际上在一般线性模型中
$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_k{x}_k+\epsilon$ 的 $y$推广出去时，假如我定义当{$y$＜50的时候，$z=0$，$y$＞=50的时候，$z=$ 1}，这时如果研究$z$和$x_1,...,x_k$之间的关系就是研究二分类问题。

用式子表示就是：
:---------: $z=\frac{e^y}{1+e^y}=\frac{e^{{\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_k{x}_k+\epsilon }}{1+e^{{\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_k{x}_k+\epsilon }}$

在这里实现了一个结果就是将本来是正态分布的结果转换成【0,1】之间的结果，换言之也可以理解这里研究的是$z=1$的概率为多少，实际上这里算的$z$的值就是通过连接函数利用自变量$x_1,...,x_k$判断分类的情况，这也就是对于逻辑回归的数学解释，以及机器学习中逻辑回归的解释。

通过这里的解释，可以理解模型（一般线性模型、逻辑回归模型）是怎么来的，后面会逐步更新自变量前面对应的系数是怎么求解的。