广义线性模型（Generalized Linear Model）

1. 广义线性模型（Generalized Linear Model）

1.1 指数分布族

指数分布族具有如下形式
$$p(y|\eta )=b(y)\exp ({\eta }^{T}T(y)-a(\eta )))$$
其中：

• ${\eta }^T$为自然参数
• $T(y)$为充分统计量，通常$T(y)=y$
• $a(\eta )$为对数分配函数，使得概率分布积分为1的条件得到满足。
  $$a(\eta )=\ln ({\int }_{x}b(y)\exp ({\eta }^{T}T(y)\mathrm{d}x)$$

伯努利（Bernoulli）分布、多项式（Multinomial）分布、泊松（Poisson）分布、高斯（Gaussian）分布、gamma分布、$\beta$分布等均属于指数分布族。

1.2 广义线性模型建模（三个假设）

• $y|x;\theta \sim ExponentialFamily(\eta )$，及$y$的条件概率属于某个指数分布族。
• $h_{\theta }(x)=E[T(y)|x]$，目标函数为充分统计量的条件期望。
  $\eta$以不同的连接函数与其它概率分布函数中的参数发生联系，从而得到不同的模型。广义线性模型正是将指数分布族中的所有成员（每个成员正好有一个这样的联系）都作为线性模型的扩展，通过各种非线性的连接函数将线性函数映射到其他空间，从而扩大了线性模型可解决的问题。
• $\eta ={\theta }^{T}x$，由于是线性模型，自然参数=参数与$x$的线性组合。

2. 线性回归推导

2.1 Gaussian 分布的指数分布族形式

在线性回归中，$\sigma$对于模型参数$\theta$的选择没有影响，为了推导方便我们将其设为1：

$$\begin{array}{rl}p(y|\mu )& =\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}(y-\mu {)}^2)\\ & =\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}{y}^2)\exp (\mu y-\frac{1}{2}{\mu }^2)\end{array}$$

得到对应的参数
$$\begin{gathered} \eta =\mu \\ T(y)=y \\ a(\eta )=\frac{1}{2}{\mu }^2=\frac{1}{2}{\eta }^2 \\ b(y)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}{y}^2) \end{gathered}$$

2.2 线性回归建模

• 假设1：$y|x;\theta \sim N(\mu ,\sigma )$
• 假设3：$\eta ={\theta }^{T}x$
• 假设2：
  $$\begin{array}{rl}{h}_{\theta }(x)& =E[T(y)|x]\\ & =\mu \\ & =\eta \\ & ={\theta }^{T}x\end{array}$$

3. 逻辑回归推导

3.1 Bernoulli分布的指数分布族形式

对于逻辑回归，有$$\begin{gathered} p(y=1;\varphi )=\varphi \\ p(y=0;\varphi )=1-\varphi \end{gathered}$$
即 p ( y ∣ ϕ ) = ϕ y ( 1 − ϕ ) 1 − y = exp ⁡