指数分布族与广义线性模型

指数分布族与广义线性模型

指数分布族

定义

连续型分布的概率密度函数（离散型分布的分布律）可以写成如下形式的分布均属于指数分布族
$$f(y;\theta )=s(y)t(\theta )e^{a(y)b(\theta )}$$
也即可以写成如下形式
$$f(y;\theta )=\exp [a(y)b(\theta )+c(\theta )+d(y)]$$
其中$s(y)=\exp d(y),t(\theta )=\exp c(\theta )$

当$a(y)=y$时，称为标准形式，此时$b(\theta )$称为自然参数

例子

正态分布

正态分布的概率密度函数可以写成
$$f(y;\mu )=\frac{1}{{\left(2\pi {\sigma }^2\right)}^{1/2}}\exp \left[-\frac{1}{2{\sigma }^2}(y-\mu {)}^2\right]=\exp \left[-\frac{y^2}{2{\sigma }^2}+\frac{y\mu }{{\sigma }^2}-\frac{{\mu }^2}{2{\sigma }^2}-\frac{1}{2}\log \left(2\pi {\sigma }^2\right)\right]$$
此时$a(y)=y,b(\mu )=\mu /{\sigma }^2$

二项分布

二项分布的分布律可以写成
$$f(y;\pi )=\left(\begin{array}{l}n\\ y\end{array}\right){\pi }^y(1-\pi {)}^{n-y}=\exp \left[y\log \pi -y\log (1-\pi )+n\log (1-\pi )+\log \left(\begin{array}{l}n\\ y\end{array}\right)\right]$$
此时$a(y)=y,b(\pi )=\log \pi -\log (1-\pi )=\log [\pi /(1-\pi )]$

泊松分布

泊松分布的分布律可以写成
$$f(y,\theta )=\frac{{\theta }^y{e}^{-\theta }}{y!}=\exp (y\log \theta -\theta -\log y!)$$
此时$a(y)=y,b(\theta )=\log \theta$

小结

1. 正态分布、二项分布、泊松分布均属于指数分布族，它们在表示成指数分布族时，均可直接写成标准形式，即$a(y)=y$, 它们的自然参数$b(\cdot )$和其他两个参数$c(\cdot ),d(\cdot )$可以总结成下表：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-x2Q0abxk-1619277736620)(D:\Documents\my_github_repo\learn-machine-learning\imgs\exponential_example.png)]

2. 这里只是列举了较常用且较简单的几个指数分布族中的分布，指数分布族还包括很多其他分布，比如伽马分布等
3. 这里只列举了一元情形下的指数分布，包括定义也只是给的一元情形下的，多元情形是类似的
4. 若$Y$服从指数分布，则$a(Y)$是$Y$的充分统计量，即给定$a(Y)$情况下$Y$的分布与$\theta$无关，对充分统计量感兴趣可以进一步翻阅陈希孺老师写的《高等数理统计学》或其他相关资料

性质

1. 充分统计量$a(Y)$的期望，当$a(Y)$等于$Y$时，即为$Y$的期望
   $$\mathrm{E}[a(Y)]=-c^{\prime }(\theta )/b^{\prime }(\theta )$$
   证明：首先由$f(y;\theta )$是密度函数或分布律可得
   $$\int f(y;\theta )dy=1$$
   于是两边关于$\theta$求导，可得
   $$\frac{d}{d\theta }\int f(y;\theta )dy=\frac{d}{d\theta }.1=0$$
   满足一定的正则性条件，求导和积分可换序，于是可得
   $$\int \frac{df(y;\theta )}{d\theta }dy=\int \left[a(y)b^{\prime }(\theta )+c^{\prime }(\theta )\right]f(y;\theta )dy=0$$
   于是有
   $$\mathrm{E}[a(Y)]=-c^{\prime }(\theta )/b^{\prime }(\theta )$$

2. 充分统计量$a(Y)$的方差，当$a(Y)$等于$Y$时，即为$Y$的方差
   $$\mathrm{var}[a(Y)]=\frac{b^{\prime \prime }(\theta )c^{\prime }(\theta )-c^{\prime \prime }(\theta )b^{\prime }(\theta )}{{\left[b^{\prime }(\theta )\right]}^3}$$
   证明：首先由$f(y;\theta )$是密度函数或分布律可得
   $$\int f(y;\theta )dy=1$$
   于是两边关于$\theta$连续求两次导，满足一定的正则性条件，求导和积分可换序，可得
   $$\int \frac{d^{2}f(y;\theta )}{d{\theta }^2}dy=0$$
   而我们有
   $$\frac{d^{2}f(y;\theta )}{d{\theta }^2}=\left[a(y)b^{\prime \prime }(\theta )+c^{\prime \prime }(\theta )\right]f(y;\theta )+{\left[a(y)b^{\prime }(\theta )+c^{\prime }(\theta )\right]}^{2}f(y;\theta )$$
   利用性质1，上式的第二项可以写为
   [ b ′ ( θ ) ] 2 { a ( y ) − E [ a ( Y ) ] } 2 f ( y ; θ ) \left[b^{\prime}(\theta)\right]^{2}\{a(y)-E[a(Y)]\}^{2} f(y ; \theta) [b′(θ)]2{a(y)−E[a(Y)]}2f(y;θ)
   于是
   $$b^{\prime \prime }(\theta )\mathrm{E}[a(Y)]+c^{\prime \prime }(\theta )+{\left[b^{\prime }(\theta )\right]}^2\mathrm{var}[a(Y)]=0$$
   从而
   $$\mathrm{var}[a(Y)]=\frac{b^{\prime \prime }(\theta )c^{\prime }(\theta )-c^{\prime \prime }(\theta )b^{\prime }(\theta )}{{\left[b^{\prime }(\theta )\right]}^3}$$

3. 关于充分统计量$a(Y)$的更高阶矩，可以类似计算，感兴趣可以自行推导其通项公式

4. 在贝叶斯理论中，指数分布族有一个好的性质：参数的先验服从指数分布族，给定参数，随机变量$X$也服从指数分布族（也即似然服从指数分布族），则后验也服从指数分布族，即指数分布族关于指数分布族共轭。具体证明就用下条件概率的相关公式验证下即可

参考资料

1. 陈希孺《高等数理统计学》
2. Exponential Families.pdf

广义线性模型

定义

设训练数据为$(x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)$, 广义线性模型定义为满足以下三个条件的模型：

1. Random component: The random component of a GLM consists of a response variable $y$ with independent observations $(y_1,\cdots ,y_n)$ from a distribution having probability density or mass function for $y_i$ of the form
   f ( y i ; θ i , ϕ ) = exp ⁡ { [ y i θ i − b ( θ i ) ] / a ( ϕ ) + c ( y i , ϕ ) } f\left(y_{i} ; \theta_{i}, \phi\right)=\exp \left\{\left[y_{i} \theta_{i}-b\left(\theta_{i}\right)\right] / a(\phi)+c\left(y_{i}, \phi\right)\right\} f(yi​;θi​,ϕ)=exp{[yi​θi​−b(θi​)]/a(ϕ)+c(yi​,ϕ)}
   For $y$, the probability density or mass function is
   f ( y ; θ , ϕ ) = exp ⁡ { [ y θ − b ( θ ) ] / a ( ϕ ) + c ( y , ϕ ) } f\left(y; \theta, \phi\right)=\exp \left\{\left[y \theta-b\left(\theta\right)\right] / a(\phi)+c\left(y, \phi\right)\right\} f(y;θ,ϕ)=exp{[yθ−b(θ)]/a(ϕ)+c(y,ϕ)}
   $\theta$ is called canonical parameter

   It’s easy to show that (利用前面指数分布族的性质即可)
   $$\begin{array}{rl}E(Y)& =\mu =b^{\prime }(\theta )\\ \mathrm{var}(Y)& =b^{\prime \prime }(\theta )\cdot a(\varphi )\end{array}$$

2. Linear predictor: For a parameter vector $\mathbf{\beta }={\left({\beta }_1,{\beta }_2,\dots ,{\beta }_p\right)}^{\mathrm{T}}$ and a $n\times p$ model matrix $X$ that contains values of $p$ explanatory variables for the $n$ observations, the linear predictor is $\mathbf{X}\mathbf{\beta }$

3. Link function: This is a function $g$ applied to each component of $E(y)$ that relates it to the linear predictor,
   $$g[E(\mathbf{y})]=X\mathbf{\beta }$$
   A function $g(\cdot )$ such that
   $$g[E(\mathbf{y})]=\theta (\text{canonical parameter})$$
   is called canonical link function. Usually, we take the canonical link function in GLMs, because it will make the MLE(Maximum likelihood estimation) equation more simpler that other link functions

MLE

log-likelihood for a GLM

Let $L_i=\log f\left(y_i;{\theta }_i,\varphi \right)$, then we have
$$L_i=\left[y_i{\theta }_i-b\left({\theta }_i\right)\right]/a(\varphi )+c\left(y_i,\varphi \right),$$
So the entire log-likelihood is
$$L(\mathbf{\beta })=\sum _{i=1}^n{L}_i=\sum _{i=1}^n\log f\left(y_i;{\theta }_i,\varphi \right)=\sum _{i=1}^n\frac{y_i{\theta }_i-b\left({\theta }_i\right)}{a(\varphi )}+\sum _{i=1}^{n}c\left(y_i,\varphi \right)$$

Likelihood Equations for a GLM

For a GLM, we have ${\eta }_i={\sum }_j{\beta }_j{x}_{ij}=g\left({\mu }_i\right)$ with link function $g$

By chain rule, we have
$$\begin{array}{rl}\frac{\partial L_i}{\partial {\beta }_j}& =\frac{\partial L_i}{\partial {\theta }_i}\frac{\partial {\theta }_i}{\partial {\mu }_i}\frac{\partial {\mu }_i}{\partial {\eta }_i}\frac{\partial {\eta }_i}{\partial {\beta }_j}\\ & =\frac{\left(y_i-{\mu }_i\right)}{a(\varphi )}\frac{a(\varphi )}{\mathrm{var}\left(y_i\right)}\frac{\partial {\mu }_i}{\partial {\eta }_i}{x}_{ij}=\frac{\left(y_i-{\mu }_i\right)x_{ij}}{\mathrm{var}\left(y_i\right)}\frac{\partial {\mu }_i}{\partial {\eta }_i}.\end{array}$$
where we have used ${\mu }_i=b^{\prime }\left({\theta }_i\right)$ and $\mathrm{var}\left(y_i\right)=b^{\prime \prime }\left({\theta }_i\right)a(\varphi )$

Summing over the n observations yields the likelihood equations
$$\frac{\partial L(\mathbf{\beta })}{\partial {\beta }_j}=\sum _{i=1}^n\frac{\left(y_i-{\mu }_i\right)x_{ij}}{\mathrm{var}\left(y_i\right)}\frac{\partial {\mu }_i}{\partial {\eta }_i}=0,j=1,2,\dots ,p$$
where ${\eta }_i={\sum }_j{\beta }_j{x}_{ij}=g\left({\mu }_i\right)$ with link function $g$

Particularly, in matrix-form
$${\mathbf{X}}^{\mathrm{T}}\mathbf{D}{\mathbf{V}}^{-1}(\mathbf{y}-\mathbf{\mu })=0$$
where $\mathbf{V}$ denote the diagonal matrix of variances of the observations, and $\mathbf{D}$ denote the diagonal matrix with elements $\frac{\partial {\mu }_i}{\partial {\eta }_i}$

When we take $g$ as the canonical link function, we have
$${\eta }_i={\theta }_i=\sum _{j=1}^p{\beta }_j{x}_{ij}$$
and thus
$$\partial {\mu }_i/\partial {\eta }_i=\partial {\mu }_i/\partial {\theta }_i=\partial b^{\prime }\left({\theta }_i\right)/\partial {\theta }_i=b^{\prime \prime }\left({\theta }_i\right)$$
So we can obtain
$$\frac{\partial L_i}{\partial {\beta }_j}=\frac{\left(y_i-{\mu }_i\right)}{\mathrm{var}\left(y_i\right)}{b}^{\prime \prime }\left({\theta }_i\right)x_{ij}=\frac{\left(y_i-{\mu }_i\right)x_{ij}}{a(\varphi )}$$
and thus the likelihood equations become
$$\sum _{i=1}^n{x}_{ij}{y}_i=\sum _{i=1}^n{x}_{ij}{\mu }_i,j=1,2,\dots ,p$$
so when we take the canonical link function in GLMs, it will make the MLE(Maximum likelihood estimation) equation more simpler that other link functions

备注：

有了似然方程或者似然函数，就可以通过一些近似求根的方式求解该似然方程了，比如采用Newton–Raphson迭代方法等，也可以对似然函数梯度上升或者负似然函数梯度下降，这里不再详细讨论GLM的求解了，感兴趣可以查阅相关资料

例子

普通线性回归

当$Y$服从正态分布时，此时的GLM模型就是通常意义下的线性模型
$$Y=X\beta +ϵ,ϵ\sim \mathcal{N}(0,{\sigma }^2)$$
证明：正态分布的概率密度函数可以写成
$$f(y;\mu )=\frac{1}{{\left(2\pi {\sigma }^2\right)}^{1/2}}\exp \left[-\frac{1}{2{\sigma }^2}(y-\mu {)}^2\right]=\exp \left[-\frac{y^2}{2{\sigma }^2}+\frac{y\mu }{{\sigma }^2}-\frac{{\mu }^2}{2{\sigma }^2}-\frac{1}{2}\log \left(2\pi {\sigma }^2\right)\right]$$
于是$\theta =\mu ,b(\theta )=b(\mu )={\mu }^2/2,a(\varphi )={\sigma }^2$, 于是$E(Y)=\mu ,D(Y)={\sigma }^2$, 此时标准连接函数为恒等映射

于是GLM为
$$E(Y)=X\beta ,D(Y)={\sigma }^2$$
而$Y$又是正态分布，就等价于
$$Y=X\beta +ϵ,ϵ\sim \mathcal{N}(0,{\sigma }^2)$$

logistic回归

当$Y$服从伯努利分布时，此时的GLM模型就是通常意义下的logistic回归模型或对数几率模型

证明：伯努利分布的分布律可以写成
$$f(y;\pi )={\pi }^y(1-\pi {)}^{1-y}=\exp \left[y\log \pi -y\log (1-\pi )+\log (1-\pi )\right]$$
于是$\theta =\log [\pi /(1-\pi )],b(\theta )=-\log (1-\pi )=\log (1+e^{\theta }),a(\varphi )=1$, 于是
$$E(Y)=\frac{e^{\theta }}{1+e^{\theta }}=\pi ,D(Y)=\pi (1-\pi )$$
此时标准连接函数为$g(x)=\log [x/(1-x)]$, 于是GLM为
$$\log [\pi /(1-\pi )]=X\beta ,D(Y)=\pi (1-\pi )$$
即
$$\pi =\frac{1}{1+e^{-X\beta }}$$
然后求解可以根据此建立最大似然函数，对最大似然函数梯度下降，也可以用其他方法，比如似然方程用牛顿法求根等，这里不再详细讨论，感兴趣可以查阅相关资料

泊松回归

当$Y$服从泊松分布时，此时的GLM模型就是通常意义下的泊松回归模型，又被称作对数-线性模型

证明：泊松分布的分布律可以写成
$$f(y,\lambda )=\frac{{\lambda }^y{e}^{-\lambda }}{y!}=\exp (y\log \lambda -\lambda -\log y!)$$
于是$\theta =\log (\lambda ),b(\theta )=\lambda =e^{\theta },a(\varphi )=1$, 于是
$$E(Y)=e^{\theta }=\lambda ,D(Y)=e^{\theta }=\lambda$$
此时标准连接函数为$g(x)=\log (x)$, 于是GLM为
$$log(\lambda )=X\beta ,D(Y)=e^{\theta }=\lambda$$
也即
$$E(Y)=e^{X\beta },D(Y)=e^{\theta }=\lambda =e^{X\beta }$$
然后求解可以根据此建立最大似然函数，对最大似然函数梯度下降，也可以用其他方法，比如似然方程用牛顿法求根等，这里不再详细讨论，感兴趣可以查阅相关资料

softmax回归

当$Y=(y_1,\cdots ,y_n{)}^{\prime }$服从如下分布时，特别地，$y_1=0,\cdots ,y_{i-1}=0,y_i=1,y_{i+1}=0,\cdots ,y_n=0$的概率为${\pi }_i$, 且${\sum }_i{\pi }_i=1$，此时的GLM模型就是通常意义下的softmax回归模型，记$Y_{n-1}=(y_1,\cdots ,y_{n-1}{)}^{\prime }$

证明：$Y$或者说$Y_{n-1}$的分布律(其实只需要考查$Y_{n-1}$的分布律即可)可以写成
KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ f(y ; \pi)=&\p…
其中$\theta =(\log ({\pi }_1/{\pi }_n),\cdots ,\log ({\pi }_{n-1}/{\pi }_n){)}^{\prime }$

此时是高维的指数分布族，同样地有相应的GLM的定义，和一元情形类似的，不再详细讨论

于是$\theta =(\log ({\pi }_1/{\pi }_n),\cdots ,\log ({\pi }_{n-1}/{\pi }_n){)}^{\prime },b(\theta )=-\log ({\pi }_n)=-\log (1-{\sum }_{i=1}^{n-1}{\pi }_i),a(\varphi )=1$, 于是

可得
$${\pi }_i=\frac{e^{{\theta }_i}}{1+{\sum }_{i=1}^{n-1}{e}^{{\theta }_i}},i=1,\cdots ,n-1,{\pi }_n=\frac{1}{1+{\sum }_{i=1}^{n-1}{e}^{{\theta }_i}}$$

KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ \frac{\partial…

于是
$$E(Y)=({\pi }_1,\cdots ,{\pi }_n),(D(Y)\text{这里不算了，感兴趣可以自行计算})$$
此时标准连接函数为$g({\pi }_1,\cdots ,{\pi }_{n-1})=(\log ({\pi }_1/{\pi }_n),\cdots ,\log ({\pi }_{n-1}/{\pi }_n){)}^{\prime }=\theta$, 于是GLM为
$$\theta =X\beta ,i.e.{\theta }_i=x_i^{\prime }\beta$$
于是
$${\pi }_i=\frac{e^{x_i^{\prime }\beta }}{1+{\sum }_{i=1}^{n-1}{e}^{x_i^{\prime }\beta }},i=1,\cdots ,n-1,{\pi }_n=\frac{1}{1+{\sum }_{i=1}^{n-1}{e}^{x_i^{\prime }\beta }}$$
特别地，当$n=2$时退化为logistic回归模型

然后求解可以根据此建立最大似然函数，对最大似然函数梯度下降，也可以用其他方法，比如似然方程用牛顿法求根等，这里不再详细讨论，感兴趣可以查阅相关资料

参考资料

1. GLM.pdf
2. “Foundations of Linear and Generalized Linear Models” written by Alan Agresti