数据学习(2)·广义线性模型

作者课堂笔记，有问题请联系humminwang@163.com

目录

• 指数族，广义线性模型

---

1 指数族

如果一种分布可以写成如下形式，那么这种分布属于指数族：
$$p(y;\eta )=b(y)e^{{\eta }^{T}T(y)-a(\eta )}$$

• $\eta :$分布的自然参数
• $T(y):$充分统计量
• $a(\eta ):log$的分隔函数($a(\eta )$作为归一化常量，目的是让${\sum }_{y}p(y;\eta )=1$)

---

1.1 伯努利分布

分布形式：
$$p(y;\varphi )={\varphi }^y(1-\varphi {)}^{1-y}$$

• $\eta =log(\frac{\varphi }{1-\varphi })$
• $b(y)=1$
• $T(y)=y$
• $a(\eta )=log(1+e^{\eta })$

---

1.2 高斯分布

$y\sim \chi (\mu ,1)$
$$p(y;\theta )=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(y-\mu {)}^2}{2}}$$

• $\eta =\mu$
• $b(y)=\frac{1}{\sqrt{2\pi }}{e}^{\frac{y^2}{2}}$
• $T(y)=y$
• $a(\eta )=\frac{1}{2}{\eta }^2$

---

$y\sim \chi (\mu ,{\sigma }^2)$
$$p(y;\theta )=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(y-\mu {)}^2}{2{\sigma }^2}}$$

• $\eta =\left[\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right]$
• $b(y)=\frac{1}{\sqrt{2\pi }}$
• $T(y)=\left[\begin{array}{c}y\\ y^2\end{array}\right]$
• $a(\eta )=\frac{\mu }{2{\sigma }^2}+log\sigma$

---

1.3 柏松分布

$$p(y;\lambda )=\frac{{\lambda }^y{e}^{-\lambda }}{y!}$$

• $\eta =log(\lambda )$
• $b(y)=\frac{1}{y!}$
• $T(y)=y$
• $a(\eta )=e^{\eta }$

---

2 广义线性模型

通过改变y的分布，从而更好的拟合数据。是一种构造线性模型的方法，其中Y|X来自于指数族。

来源https://www.sohu.com/a/228212348_349736

广义线性模型的设计初衷：

• 为了使响应变量y可以有任意的分布。
• 允许任意的函数（链接函数）可以随着输入的x变化。

构建方法：

• y|x;$\theta \sim$指数族分布（高斯、柏松、伯努利…）
• 我们的目标是给定x，预测T(y)的期望，大多数情况是T(y)=y,而在其他情况下可能是E[y|x;$\theta$]
• 自然参数$\eta$和x是线性相关的，满足$\eta ={\theta }^{T}x$
  如果问题满足以上的三个假设，那么我们那就可以构造广义线性模型来解决问题。

---

2.1 最小二乘法

应用GLM的构造准则：

• y|x;$\theta \sim N(\mu ,1)$
  $$\eta =\mu ,T(y)=y$$
• 推导假设函数：
  $$h_{\theta }(x)=E[y|x;\theta ]=\mu =\eta$$
• 应用线性模型$\eta ={\theta }^{T}x$
  $$h_{\theta }(x)=\eta ={\theta }^{T}x$$
  典范响应函数：$\mu =g(\eta )=\eta$
  典范链接函数：$\eta =g^{-1}(\mu )=\mu$

---

2.2 Logistic回归

应用GLM的构造准则：

• y|x;$\theta \sim Bernoulli(\varphi )$
  $$\eta =log(\frac{\varphi }{1-\varphi }),T(y)=y$$
• 推导假设函数：
  $$h_{\theta }(x)=E[y|x;\theta ]=\varphi =\frac{1}{1+e^{-\eta }}$$
• 应用线性模型$\eta ={\theta }^{T}x$
  $$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
  典范响应函数：$\varphi =g(\eta )=sigmoid(\eta )$
  典范链接函数：$\eta =g^{-1}(\varphi )=logit(\varphi )$

---

2.3 柏松回归（顾客预测）

应用GLM的构造准则：

• y|x;$\theta \sim Poisson(\lambda )$
  $$\eta =log(\lambda ),T(y)=y$$
• 推导假设函数：
  $$h_{\theta }(x)=E[y|x;\theta ]=\lambda =e^{\eta }$$
• 应用线性模型$\eta ={\theta }^{T}x$
  $$h_{\theta }(x)=e^{{\theta }^{T}x}$$
  典范响应函数：$\lambda =g(\eta )=e^{\eta }$
  典范链接函数：$\eta =g^{-1}(\lambda )=log(\lambda )$

---

2.4 SoftMax回归

p ( y ; ϕ ) = ∏ i = 1 k ϕ i 1 { y = i } p(y;\phi)=\prod_{i=1}^k\phi_i^{1\{y=i\}} p(y;ϕ)=i=1∏k​ϕi1{y=i}​
${\varphi }_k=1-{\sum }_{i=1}^{k-1}{\varphi }_i$

• T(y)= [ 1 { y = 1 } . . . 1 { y = k − 1 } ] \begin{bmatrix}1\{y=1\}\\...\\1\{y=k-1\}\\\end{bmatrix} ⎣⎡​1{y=1}...1{y=k−1}​⎦⎤​
• $\eta =\left[\begin{array}{c}log(\frac{{\varphi }_1}{{\varphi }_k})\\ ...\\ log(\frac{{\varphi }_{k-1}}{{\varphi }_k})\end{array}\right]$
• b(y)=1
• a($\eta$)=$-log({\varphi }_k)$

---

应用GLM的构造准则：

• y|x;$\theta \sim Multinomial({\varphi }_1,....{\varphi }_k)$
  η i = l o g ( ϕ i ϕ k ) , T ( y ) = [ 1 { y = 1 } . . . 1 { y = k − 1 } ] \eta_i=log(\frac{\phi_i}{\phi_k}),T(y)=\begin{bmatrix}1\{y=1\}\\...\\1\{y=k-1\}\\\end{bmatrix} ηi​=log(ϕk​ϕi​​),T(y)=⎣⎡​1{y=1}...1{y=k−1}​⎦⎤​
  $${\varphi }_i=\frac{e^{{\eta }_i}}{{\sum }_{j=1}^k{e}^{{\eta }_j}}$$
• 推导假设函数：
  $$h_{\theta }(x)=E[T(y);\theta ]=\left[\begin{array}{c}{\varphi }_1\\ ...\\ {\varphi }_{k-1}\end{array}\right]....={\varphi }_i=\frac{e^{{\eta }_i}}{{\sum }_{j=1}^k{e}^{{\eta }_j}}$$
• 应用线性模型$\eta ={\theta }_i^{T}x$
  $$h_{\theta }(x)=\frac{1}{{\sum }_{j=1}^k{e}^{{\eta }_j}}\left[\begin{array}{c}{e}^{{\theta }_1^{T}x}\\ ...\\ e^{{\theta }_{k-1}^{T}x}\end{array}\right]$$
  典范响应函数：${\varphi }_i=g(\eta )=\frac{e^{{\eta }_i}}{{\sum }_{j=1}^k{e}^{{\eta }_j}}$
  典范链接函数：$\eta =g^{-1}({\varphi }_i)=log(\frac{{\varphi }_i}{{\varphi }_k})$

---

3 总结广义线性模型

4 练习

答案地址：https://pan.baidu.com/s/1ytOYfFKUDKVJI7Yg-07KoA