LR（逻辑斯谛）公式推导

1. 一个事件的几率(odds)=$\frac{事件发生的概率}{事件不发生的概率}$=$\frac{p}{1-p}$

2. 该事件的对数几率(log odds)或logit函数是$logit(p)=lo{g}^{\frac{p}{1-p}}$

3. 输出$y^{(}i)=1$的多数几率是由输入x的线性函数表示的模型，即逻辑斯谛回归模型。

   （逻辑斯谛回归模型可以将线性函数w·x转换为概率）

$$p(y^{(i)}=1|x)=\frac{1}{1+e^{-w^{T}x}}$$

$参数w=[w^{(1)},w^{(2)},...w^{(n)},b{]}^T,输入x=[x^{(1)},x^{(2)},...x^{(n)},1{]}^T$

4. 设
   $$\begin{gathered} 正例(y=1):P(y=1|x)=p \\ 反例(y=0):P(y=0|x)=1-p \\ 函数合二为一：P(y_i|x_i)=p^{y_i}(1-p{)}^{1-y_i} \\ （当y_i=1，结果是p；当y_i=0，结果是1-p）。 \end{gathered}$$

5. 似然函数
   $$\prod _{n=1}^N{p}^{y_n}(1-p{)}^{1-y_n}$$
   对数似然函数：
   $$\begin{gathered} L_{(w)}=l{n}^{P_{总}}=l{n}^{({\prod }_{n=1}^N{p}^{y_n}(1-p{)}^{1-y_n})} \\ =\sum _{n=1}^{N}l{n}^{(p^{y_n}(1-p{)}^{1-y_n})} \\ =\sum _{n=1}^N(y_{n}l{n}^p+(1-y_n)l{n}^{1-p}) \\ 其中，p=\frac{1}{1+e^{-w^{T}x}} \end{gathered}$$
   对$L_w$求极大值，得到w的估计值。

   这样，问题就变成了以对数似然函数为目标函数的最优化问题。

6. $$\begin{gathered} \because p=\frac{1}{1+e^{-\theta }},\theta =w^{T}x \\ 其中参数w=[w^{(1)},w^{(2)},...w^{(n)},b{]}^T,输入x=[x^{(1)},x^{(2)},...x^{(n)},1{]}^T \end{gathered}$$

   $$\begin{gathered} \frac{{\partial }_{L_{(w)}}}{{\partial }_{w_j}}=\sum _{i=1}^N(y^{(i)}\frac{1}{p}\frac{{\partial }_p}{{\partial }_{\theta }}\frac{{\partial }_{\theta }}{{\partial }_{w_j}})+(1-y^{(i)})\frac{1}{1-p}(-1)\frac{{\partial }_p}{{\partial }_{\theta }}\frac{{\partial }_{\theta }}{{\partial }_{w_j}})<1> \\ \frac{{\partial }_p}{{\partial }_{\theta }}=\frac{\partial }{{\partial }_{\theta }}\frac{1}{[1+e^{-\theta }]}=\frac{1}{(1+e^{-\theta })}(1-\frac{1}{(1+e^{-\theta })})=p(1-p)<2> \\ \frac{{\partial }_{\theta }}{{\partial }_{w_j}}=\frac{\partial }{{\partial }_{w_j}}[w^{T}x]=x_j<3> \end{gathered}$$

   $$\begin{gathered} 将<3><2>代入<1>中 \\ \frac{{\partial }_{L_{(w)}}}{{\partial }_{w_j}}=\sum _{i=1}^N(y^{(i)}\frac{1}{p}p(1-p)x_j+(1-y^{(i)})\frac{1}{1-p}(-1)p(1-p)x_j) \\ =\sum _{i=1}^N(y^{(i)}-p)x_j \end{gathered}$$

7. 利用梯度下降法求解目标函数的最大值

   给定训练步长和初始值$w$,迭代收敛

   更新规则

$$\begin{gathered} w_j=w_j+\alpha \nabla L_{(w)} \\ 而\nabla L_{(w)}=\frac{\partial L_{(w_j)}}{{\partial }_{w_j}}=(y^{(i)}-p)x_j \end{gathered}$$

8. repeat until:converge

   for i = 1 to N{

   ​ ${\theta }_j={\theta }_j+\alpha [y^{(i)}-p]x_j^{(i)}$

   }
   注：参考了李航老师著的《统计学习方法》