LR模型推导

1、定义

二项逻辑斯谛回归模型，是如下的条件概率分布。
$$P(Y=1|x)=\frac{e^{wx}}{1+e^{wx}}\text{\hspace{1em}(1)}$$

$$P(Y=0|x)=\frac{1}{1+e^{wx}}\text{\hspace{1em}(2)}$$
注意，这里为了方便已经将b扩充入$w$。公式(2)可以看做$\frac{1}{1+e^{-z}}$，(Sigmoid函数)如下图

2、事件的几率

指的是事件发生的概率与该事件不发生的概率的比值。假设事件发生的概率是$p$，那么该事件的几率是$\frac{p}{1-p}$，对于逻辑斯谛回归模型而言，事件几率取log如下:
$$log\frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x$$

3、模型参数估计

假设：$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$
似然函数：
$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}\text{\hspace{1em}(3)}$$

公式（3）表明，对于正样本而言，$y_i=1$使得右边的项为1，对于负样本而言，$y_i=0$使得左边的项为1。即满足所有样本的概率最大。
对数似然函数：

$$\begin{gathered} L(w)=\sum _{i=1}^N[y_{i}log\pi (x_i)+(1-y_i)log(1-\pi (x_i))] \\ =\sum _{i=1}^N[y_{i}log\frac{\pi (x_i)}{1-\pi (x_i)}+log(1-\pi (x_i))]=\sum _{i=1}^N[y_i(w\cdot x_i)-log(1+e^{w\cdot x_i})]\text{\hspace{1em}(4)} \end{gathered}$$
如公式(4)所示，求解的是最大值问题，可以用梯度下降法(这里求最大值，实际是梯度上升，或者加负号变成梯度下降法)等优化方法求解参数$w$
假设求得参数$\hat{w}$。代入公式(1)(2)即可得模型。