逻辑回归-logistic regression

一、概念

逻辑回归是一种广义线性回归，与多重线性回归模型有很多的相似之处，例如它们的模型形式基本相同，都为wx+b，区别在于因变量不同；多重线性模型直接使用wx+b作为因变量，而逻辑回归会引入sigmoid函数将wx+b映射到一个0~1之间的状态；逻辑回归虽然是广义线性回归，但是是一个分类模型；

二、关联函数

1、sigmoid函数

sigmoid函数的数学表达式为：

在数值上有以下性质：

并且sigmoid函数还有很好的函数性质，它单调可微，且有：

函数的整体表现形式如下：

当z=wx+b时，上图可以很好的解决二分类问题；当z>=0.5是，y为1，否则为0；

这就是逻辑回归做分类问题的原理；

2、损失函数

按照上述说明，定义了逻辑回归的数学表达式，但在诸多特征时，wi和bi都是未知的，参数未知，就需要定义优化或者求解方法；于是引入了损失函数；常见的随时函数有：

0-1损失函数：感知机原理，若预测值与标签值一致，损失为0，否则为1；

绝对损失函数：将真实值与预测值之间的差距的绝对值作为损失值：

平方损失函数：以误差平方和作为损失值：

对数损失函数/对数似然损失函数：表现形式如下

3、似然函数

如果X 已知且确定的，则Y是变量，在求解概率为P(Y|X)，这个函数叫做概率函数，它描述了对于不同的样本点x，其出现的概率是多少；

如果Y 已知且确定的，则X是变量，在求解概率为P(Y|X)，这个函数叫做似然函数，它描述了对于不同的模型参数，其出现x样本点的概率是多少；

 

4、额外说明

由于sigmoid函数很好的描述了当y=0和y=1时，X的分布情况；可以将P(y=1|x)视为y=1的后验概率； P(y=0|x) 视为y=0的后验概率；由概率学的知识可知：

而∅(z)可以视为y=1的后验估计，当任意样本点z未知时，∅(z)算出来的结果可以视为其为类别1的概率（只是在为1的概率小于0.5时，我们判定其为0）；那么上式可以转换为

 

三、参数求解

有上面的相关定义，在逻辑回归中，我们使用极大似然估计的方式来求解参数W。

为了简化运算，对等式两边都去对数：

要使得l(w)最大，不是很好求，但对函数两边同时乘以-1，l(w)最大变-l(w)为最小值，就可以求了；

跟上面提到的对数似然损失函数是不是很像，是的，这里就编程了上面提到的损失函数(代价函数)：对于单个样本来说，也很好的描述了接近1的损失大小；

我们要求解J(w)的最小值，即需要我们队J(w)取对W的偏导，得：

 

梯度的负方向就是损失函数下降最快的方向：

当为梯度的负方向，取得极小值；

这就是梯度下降法的求解公式了；

此外，求解方式还有随机梯度下降法（SGD）等，以及改进了的随机平均梯度下降算法（SAG）等；原理基本相同，在小部分细节上有所差距；