逻辑回归的简单推导（以二项逻辑回归为例）

二项逻辑回归模型

二分类模型，每个分类由条件概率P(Y|X)表示，Y=1，0, X为实数

条件概率分布

$$P(Y=1|x)=\frac{exp(w.x)}{1+exp(w.x)}$$

$$P(Y=0|x)=\frac{1}{1+exp(w.x)}$$

其中 输入$x\in R^{n+1}$, 输出$Y\in 0,1$，$w\in R^{n+1}$为权值向量，$w.x$为两者内积

逻辑回归会将条件概率最大的一类作为x的归类

对数几率 log odds

几率 (odds) : $\frac{事情发生概率}{事情不发生概率}=\frac{p}{1-p}$

对数几率：$$logit(p)=log\frac{p}{1-p}$$

对于逻辑回归模型, 引入条件概率则有：

$$\begin{gathered} logit(p)=\log \frac{P(Y=1|x)}{P(Y=0|X)} \\ =\log P(Y=1|x)-\log P(Y=0|x) \\ =\log exp(w.x)-\log (1+exp(w.x))-(\log 1-\log (1+exp(w.x))) \\ =\log exp(w.x) \\ =w.x \end{gathered}$$

即 逻辑回归中，对数几率其实就是输入x的线性表示。

模型的参数估计

给定训练集 $T=[(x_1,y_1),(x_2,y_2)......]$，运用极大似然估计法估计模型参数$w$，从而得到逻辑回归模型

设$P(Y=1|x)=\pi (x)$, $P(Y=0|x)=1-\pi (x)$

似然函数:

$$L(w)=\prod _{i=1}^{n}P(Y|x_i;w)=\prod _{i=1}^n[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$

对数似然函数:

$$L(w)=\log \prod _{i=1}^n[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$

$$=\sum _{i=1}^n{y}_i\log \pi (x_i)+(1-y_i)\log (1-\pi (x_i))$$

$$=\sum _{i=1}^n{y}_i\log \frac{\pi (x_i)}{1-\pi (x_i)}+\log (1-\pi (x_i))$$

$$=\sum _{i=1}^n{y}_i(w.x_i)-\log (1+exp(w.x_i))$$

我们需要最大化对数似然函数，即以对数似然函数为目标函数的最优化问题。我们通常采用拟牛顿法或者梯度下降法来得到参数$w$的最大似然估计$\hat{w}$

得到最大似然估计$\hat{w}$后，我们就得到了最终的逻辑回归模型

$$P(Y=1|x)=\frac{exp(\hat{w}.x)}{1+exp(\hat{w}.x)}$$

$$P(Y=0|x)=\frac{1}{1+exp(\hat{w}.x)}$$

逻辑回归与线性回归比较

异：

逻辑回归是分类模型，线性回归是回归模型。

逻辑回归模型基于最大化因变量y的期望 $E（Y|x;w）$，给定分类结果, 其中y是离散变量

线性回归求得是$\hat{y}=w.x$对于真实值$y$的近似，以此处理回归问题，其中因变量是连续的

同：

建模都使用了最大似然估计。（线性回归的最小二乘法就是假设y服从正态分布，w,x确定下的最大似然估计）

参数估计都可以使用梯度下降法

牛顿法，拟牛顿法， 梯度下降法

更新中

参考资料:
李航 《统计学习方法 第二版》

葫芦娃 《百面机器学习》