逻辑回归详解

一、广义线性模型

1.1 指数分布族

一维的指数分布族: f λ ( y ) = exp ⁡ { λ y − Ψ ( λ ) } ⋅ f 0 ( y ) (1) f_{\lambda}(y)=\exp\{\lambda y-\Psi(\lambda)\}\cdot f_0(y)\tag1 fλ​(y)=exp{ λy−Ψ(λ)}⋅f0​(y)(1)

1.2 常见的指数分布：

• $N(\mu ,{\sigma }^2)$，化成指数分布的话，$\lambda =\frac{\mu }{{\sigma }^2},\Psi (\lambda )=\frac{\mu }{2{\sigma }^2}$
• $Poi(\mu )$，化成指数分布的话，$\lambda =\ln \mu ,\Psi (\lambda )=\mu$
• $Bi(n,\pi )$，化成指数分布的话，$\lambda =\ln \frac{\pi }{1-\pi },\Psi (\lambda )=n\ln (1+e^{\lambda })$

1.3 广义线性模型

广义线性模型就是解决响应变量是服从二项分布、泊松分布或理论上是任何指数分布族的线性拟合问题。

现有$N$个观测点 y = { y 1 , ⋯   , y N } \bm y=\{y_1,\cdots,y_N\} y={ y1​,⋯,yN​}来自某一指数分布族，即$$y_i\sim f_{{\lambda }_i}(\cdot ),i=1,\cdots ,N\text{\hspace{1em}(2)}$$
此时需要估计$N$个参数${\lambda }_1,\cdots ,{\lambda }_N$（观测点独立，但不同分布，具体的${\lambda }_i$不同）

通过线性回归，将$N$个参数的问题，转化为对$p$个参数的估计，这就是广义线性模型的核心策略。如下：

设$$\mathbf{\lambda }=\mathbf{X}\mathbf{\alpha }\text{\hspace{1em}(3)}$$
其中，$\mathbf{X}$为$N\times p$的结构矩阵，$\mathbf{\alpha }$为$p$维未知参数。

即$$\left[\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ ⋮\\ {\lambda }_N\end{array}\right]={\left[\begin{array}{c}{\mathbf{x}}_1\\ {\mathbf{x}}_2\\ ⋮\\ {\mathbf{x}}_N\end{array}\right]}_{N\times p}{\left[\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ ⋮\\ {\alpha }_p\end{array}\right]}_{p\times 1}\text{\hspace{1em}(4)}$$
亦即${\lambda }_1={\mathbf{x}}_1^{\top }\mathbf{\alpha }$，${\lambda }_2={\mathbf{x}}_2^{\top }\mathbf{\alpha }$，$\cdots$，${\lambda }_N={\mathbf{x}}_N^{\top }\mathbf{\alpha }$。例如， λ 1 = x 11 α 1 + x 12 α 2 + ⋯ + x 1 p α p \lambda_1=x_{11}\alpha_1+x_{12}\alpha_2+\cdots+x_{1p}\alpha_p λ1​=x11​α<