广义线性模型推导 线性回归模型，Logistic模型，多项Logistic模型

广义线性模型是机器学习中一种的模型框架，我们常见的 线性模型，Logistic模型，softmax模型 都属于广义线性模型。下面我们就从广义线性模型角度推导这三种模型。

首先介绍一下广义线性模型的定义，满足以下三个条件的模型属于广义线性模型：
\quad

1. 因变量 $y$ 服从指数族分布: $P(y;\eta )=b(y)exp({\eta }^{T}T(y)-a(\eta ))$
2. 给定 $x$，模型的目标是求解 $E[T(y)|x]$
3. $\eta ={\zeta }^{T}x$

---

广义线性模型推导线性回归模型

对于线性模型，因变量 $y$ 服从高斯分布：$\mathcal{N}(\mu ,{\sigma }^2)$，将高斯分布改写成指数族分布：
$$\begin{array}{rl}P(y;\mu ,{\sigma }^2)& =\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y-\mu {)}^2}{2{\sigma }^2})\\ & =exp(-\frac{1}{2{\sigma }^2}{y}^2+\frac{\mu }{{\sigma }^2}y-\frac{{\mu }^2}{2{\sigma }^2}+log\frac{1}{\sqrt{2\pi }\sigma })\\ & =exp(\left[\begin{array}{cc}-\frac{1}{2{\sigma }^2}& \frac{\mu }{{\sigma }^2}\end{array}\right]\left[\begin{array}{c}{y}^2\\ y\end{array}\right]-\frac{{\mu }^2}{2{\sigma }^2}-\frac{1}{2}log(2\pi {\sigma }^2))\end{array}$$
因此：

• $b(y)=1$
• $T(y)=\left[\begin{array}{c}{y}^2\\ y\end{array}\right]$
• $\eta =\left[\begin{array}{cc}{\eta }_1& {\eta }_2\end{array}\right]=\left[\begin{array}{cc}-\frac{1}{2{\sigma }^2}& \frac{\mu }{{\sigma }^2}\end{array}\right]$
• $a(\eta )=\frac{{\mu }^2}{2{\sigma }^2}+\frac{1}{2}log(2\pi {\sigma }^2)$

那么模型的目标就是求解
$$f(x;\theta )=E[T(y)|x]=E[y|x]\stackrel{\text{高斯分布}}{=}\mu ={\sigma }^2{\eta }_2\stackrel{\text{条件3}}{=}{\sigma }^2\ast {\zeta }^{T}x$$

令 $\theta ={\sigma }^2\ast \zeta$，就得到了线性模型：$f(x;\theta )={\theta }^{T}x$

---

广义线性模型推导Logistic模型

作为二分类模型，Logistic回归实际上建模的是Bernoulli分布，也就是说，在已知样本 $x$ 的情况下，标签 $y$ 满足分布：
P ( y ; ϕ ) = ϕ y ( 1 − ϕ ) 1 − y , y ∈ { 0 , 1 } P(y;\phi) = \phi^y(1-\phi)^{1-y}, \quad y \in \{0,1\} P(y;ϕ)=ϕy(1−ϕ)1−y,y∈{0,1}
其中 $\varphi =P(y=1|x;\varphi )$

下面我们将伯努利分布转化成指数族分布的形式：
P ( y ; ϕ ) = ϕ y ( 1 − ϕ ) 1 − y , y ∈ { 0 , 1 } = e x p ( y log ϕ + ( 1 − y ) l o g ( 1 − ϕ ) ) = e x p ( y log ϕ 1 − ϕ + l o g ( 1 − ϕ ) ) \begin{aligned} P(y;\phi) &= \phi^y(1-\phi)^{1-y}, \quad y \in \{0,1\}\\ &= exp(y\text{log}\phi + (1-y)log(1-\phi))\\ &= exp(y\text{log}\frac{\phi}{1-\phi} + log(1-\phi)) \end{aligned} P(y;ϕ)​=ϕy(1−ϕ)1−y,y∈{0,1}=exp(ylogϕ+(1−y)log(1−ϕ))=exp(ylog1−ϕϕ​+log(1−ϕ))​

因此

• $b(y)=1$
• $T(y)=y$
• $\eta =\frac{\varphi }{1-\varphi }\Rightarrow \varphi =\frac{1}{1+e^{-\eta }}$
• $a(\eta )=-log(1-\varphi )=log(1+e^{\eta })$

那么模型的目标就是求解
$$f(x;\theta )=E[T(y)|x]=E[y|x]\stackrel{\text{Bernoulli分布}}{=}0\cdot P(y=0|x;\varphi )+1\cdot P(y=1|x;\varphi )=\varphi =\frac{1}{1+e^{-\eta }}\stackrel{\text{条件3}}{=}\frac{1}{1+e^{-{\zeta }^{T}x}}$$

令 $\theta =-\zeta$，就得到了Logistic模型：$f(x;\theta )=\frac{1}{1+e^{{\theta }^{T}x}}$

---

广义线性模型推导多项Logistic模型

多项Logistic模型用于解决多分类问题，它实际建模的是Multinoulli分布，在已知样本 $x$ 的情况下，标签 $y$ 满足分布：
$$P(y;\Phi )=\prod _{i=1}^C{\varphi }_i^{y_i}$$
其中 ${\varphi }_i=P(y=y_i|x;\Phi )$，由于 ${\varphi }_C={\sum }_{i=1}^C{\varphi }_i$，因此实际只需知道 ${\varphi }_1,\cdots ,{\varphi }_{C-1}$

下面我们将Multinoulli分布转化成指数族分布的形式，为了方便记录，我们将标签 $y$ 用one-hot向量的方式表示：
$$y_1=\left[\begin{array}{c}1\\ 0\\ \cdots \\ 0\end{array}\right]，y_2=\left[\begin{array}{c}0\\ 1\\ \cdots \\ 0\end{array}\right]，\cdots ，y_{C-1}=\left[\begin{array}{c}0\\ 0\\ \cdots \\ 1\end{array}\right]，y_C=\left[\begin{array}{c}0\\ 0\\ \cdots \\ 0\end{array}\right]$$

那么有：
$$\begin{array}{rl}P(y;\varphi )& ={\varphi }_1^{y_1}\cdots {\varphi }_C^{y_C}\\ & ={\varphi }_1^{y_1}\cdots {\varphi }_{C-1}^{y_{C-1}}\cdot {\varphi }_C^{1-{\sum }_{i=1}^{C-1}{y}_i}\\ & =exp(y_1\text{log}{\varphi }_1+\cdots +y_{C-1}\text{log}{\varphi }_{C-1}+(1-\sum _{i=1}^{C-1}{y}_i)\text{log}{\varphi }_C)\\ & =exp(y_1\text{log}\frac{{\varphi }_1}{{\varphi }_C}+\cdots +y_{C-1}\text{log}\frac{{\varphi }_{C-1}}{{\varphi }_C}+\text{log}{\varphi }_C)\end{array}$$

因此

• $b(y)=1$
• $T(y)=y$
• $\eta =\left[\begin{array}{c}\text{log}\frac{{\varphi }_1}{{\varphi }_C}\\ \text{log}\frac{{\varphi }_2}{{\varphi }_C}\\ \cdots \\ \text{log}\frac{{\varphi }_{C-1}}{{\varphi }_C}\end{array}\right]$
• $a(\eta )=-\text{log}{\varphi }_C$

由于 ${\eta }_i=\text{log}\frac{{\varphi }_i}{{\varphi }_C}，\Rightarrow$

$${\varphi }_i={\varphi }_C{e}^{{\eta }_i}\Rightarrow 1=\sum _{i=1}^C{\varphi }_i={\varphi }_C\sum _{i=1}^C{e}^{{\eta }_i}\Rightarrow {\varphi }_C=\frac{1}{{\sum }_{i=1}^C{e}^{{\eta }_i}}\Rightarrow {\varphi }_i={\varphi }_C{e}^{{\eta }_i}=\frac{e^{{\eta }_i}}{{\sum }_{i=1}^C{e}^{{\eta }_i}}$$

那么模型的目标就是求解:
$$f(x;\theta )=E[T(y)|x]=E[y|x]\stackrel{\text{Multinoulli分布}}{=}\left[\begin{array}{c}{\varphi }_1\\ {\varphi }_2\\ \cdots \\ {\varphi }_{C-1}\end{array}\right]=\left[\begin{array}{c}\frac{e^{{\eta }_1}}{{\sum }_{i=1}^C{e}^{{\eta }_i}}\\ \frac{e^{{\eta }_2}}{{\sum }_{i=1}^C{e}^{{\eta }_i}}\\ \cdots \\ \frac{e^{{\eta }_{C-1}}}{{\sum }_{i=1}^C{e}^{{\eta }_i}}\end{array}\right]\stackrel{\text{条件3}}{=}\left[\begin{array}{c}\frac{e^{{\zeta }_1^{T}x}}{{\sum }_{i=1}^C{e}^{{\zeta }_i^{T}x}}\\ \frac{e^{{\zeta }_2^{T}x}}{{\sum }_{i=1}^C{e}^{{\zeta }_i^{T}x}}\\ \cdots \\ \frac{e^{{\zeta }_{C-1}^{T}x}}{{\sum }_{i=1}^C{e}^{{\zeta }_i^{T}x}}\end{array}\right]$$

由此可得多项Logistic模型的函数形式就是softmax