指数族分布|机器学习推导系列（九）

一、介绍

1. 一般形式

指数族分布有：高斯分布、伯努利分布、二项分布、泊松分布、beta分布、Dirichlet分布、gamma分布等。

指数族分布的一般形式：

$$P(x|\eta )=h(x)exp\left\{{\eta }^T\varphi (x)-A(\eta )\right\}$$

其中：
①$\eta$：参数向量；
②$\varphi (x)$：充分统计量，Sufficient statistic；
③$A(\eta )$：log partition function（log配分函数）
④$h(x)$：不很重要，通常取1。

2. 配分函数

$$P(x|\theta )=\frac{1}{z}\hat{P}(x|\theta )$$

通常如果我们得到一个可以表达分布的函数$\hat{P}(x|\theta )$但是其积分不为1，需要除以一个归一化因子$z$来将其归一，这个归一化因子$z$就是配分函数，$z$取值为$\hat{P}(x|\theta )$的积分：

$$\begin{gathered} \int P(x|\theta )\mathrm{d}x=\int \frac{1}{z}\hat{P}(x|\theta )\mathrm{d}x \\ \Rightarrow 1=\frac{1}{z}\int \hat{P}(x|\theta )\mathrm{d}x \\ \Rightarrow z=\int \hat{P}(x|\theta )\mathrm{d}x \end{gathered}$$

解释一下为什么$A(\eta )$叫log配分函数：

P ( x ∣ η ) = P ( x ∣ η ) = h ( x ) e x p { η T ϕ ( x ) } e x p { − A ( η ) } = 1 e x p { A ( η ) } h ( x ) e x p { η T ϕ ( x ) } ⏟ P ^ ( x ∣ θ ) P(x|\eta )=P(x|\eta )=h(x)exp\left \{\eta ^{T}\phi (x)\right \}exp\left \{-A(\eta )\right \}\\ =\frac{1}{exp\left \{A(\eta )\right \}}\underset{\hat{P}(x|\theta )}{\underbrace{h(x)exp\left \{\eta ^{T}\phi (x)\right \}}} P(x∣η)=P(x∣η)=h(x)exp{ηTϕ(x)}exp{−A(η)}=exp{A(η)}1​P^(x∣θ) h(x)exp{ηTϕ(x)}​​

因此 e x p { A ( η ) } exp\left \{A(\eta )\right \} exp{A(η)}就是配分函数，$A(\eta )$就是log配分函数。

3. 指数族分布的特点、模型和应用

$$\begin{array}{c}充分统计量\\ 共轭\\ 最大熵\end{array}\}指数族分布\{\begin{array}{c}广义线性模型\\ 概率图模型\\ 变分推断\end{array}$$

• 充分统计量

$\varphi (x)$是充分统计量。

什么是充分统计量？举例来说，对于从一些从高斯分布中抽取出来的样本$x_1,x_2,\cdots ,x_N$，以下统计量就是充分统计量：

$$\varphi (x)=\left(\begin{array}{c}{\sum }_{i=1}^N{x}_i\\ {\sum }_{i=1}^N{x}_i^2\end{array}\right)$$

因为通过上述统计量可以计算样本的均值和方差进而得到其明确的分布。

有了充分统计量就可以将样本丢掉，从而节省了空间，对online learning有重要意义。

• 共轭

$$P(z|x)=\frac{P(x|z)P(z)}{{\int }_{z}P(x|z)P(z)\mathrm{d}z}$$

在上面的贝叶斯公式中由于分母${\int }_{z}P(x|z)P(z)\mathrm{d}z$积分难或者$P(z|x)$的形式太复杂，因此直接求$P(z|x)$是很困难的，因此求$E_{P(z|x)}[f(z)]$也是很困难的，所以人们想了很多办法比如近似推断（变分推断、MCMC等），这些方法的提出都是因为上述积分难的问题。

共轭的概念是指在给定一个特殊的似然（$P(x|z)$）的情况下，后验（$P(z|x)$）与先验（$P(z)$）会有一个形式相同的分布，这也就解决了上述积分困难的问题，避免了就分母上的积分项常数。

举个例子：

$$\underset{Beta}{\underbrace{P(z|x)}}\propto \underset{二项式分布}{\underbrace{P(x|z)}}\underset{Beta}{\underbrace{P(z)}}$$

• 最大熵

给出先验$P(z)$的一些方法包括：
①共轭$\to$计算上的方便；
②最大熵$\to$无信息先验；
③Jerrif。

最大熵原理给出了一种定义先验的方式，可以使得参数更加地随机。

• 广义线性模型

广义线性模型中出现的一些概念：

$$\{\begin{array}{c}线性组合w^{T}x\\ linkfunction\to (激活函数{)}^{-1}\\ 指数族分布：y|x\sim 指数族分布\{\begin{array}{c}线性回归：y|x\sim N(\mu ,\Sigma )\\ 分类：y|x\sim Bernoulli\\ 泊松回归：y|x\sim Possion\end{array}\end{array}$$

• 概率图模型

无向图中的RBM（限制玻尔兹曼机）应用到了指数族分布。

二、高斯分布的指数族分布形式

以一维高斯分布为例，将高斯分布整理成指数族分布的形式：

$$\begin{gathered} P(x|\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp\left\{-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right\}\theta =(u,{\sigma }^2) \\ =\frac{1}{\sqrt{2\pi {\sigma }^2}}exp\left\{-\frac{1}{2{\sigma }^2}(x^2-2\mu x+{\mu }^2)\right\} \\ =exp\left\{log(2\pi {\sigma }^2{)}^{-\frac{1}{2}}\right\}exp\left\{-\frac{1}{2{\sigma }^2}(x^2-2\mu x)-\frac{{\mu }^2}{2{\sigma }^2}\right\} \\ =exp\left\{log(2\pi {\sigma }^2{)}^{-\frac{1}{2}}\right\}exp\left\{-\frac{1}{2{\sigma }^2}\left(\begin{array}{cc}-2\mu & 1\end{array}\right)\left(\begin{array}{c}x\\ x^2\end{array}\right)-\frac{{\mu }^2}{2{\sigma }^2}\right\} \\ =exp\left\{\underset{{\eta }^T}{\underbrace{\left(\begin{array}{cc}\frac{\mu }{{\sigma }^2}& -\frac{1}{2{\sigma }^2}\end{array}\right)}}\underset{\varphi (x)}{\underbrace{\left(\begin{array}{c}x\\ x^2\end{array}\right)}}-\underset{A(\eta )}{\underbrace{(\frac{{\mu }^2}{2{\sigma }^2}+\frac{1}{2}log2\pi {\sigma }^2)}}\right\} \end{gathered}$$

然后即可获得$\eta$和$\theta$的关系：

$$\begin{gathered} \eta =\left(\begin{array}{c}{\eta }_1\\ {\eta }_2\end{array}\right)=\left(\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right) \\ \{\begin{array}{c}{\eta }_1=\frac{\mu }{{\sigma }^2}\\ {\eta }_2=-\frac{1}{2{\sigma }^2}\end{array}\Rightarrow \{\begin{array}{c}\mu =-\frac{{\eta }_1}{2{\eta }_2}\\ {\sigma }^2=-\frac{1}{2{\eta }_2}\end{array} \end{gathered}$$

将$\eta$代入$A(\eta )$可以得到如下结果：

$$\begin{gathered} A(\eta )=-\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}log(2\pi \cdot -\frac{1}{2{\eta }_2}) \\ =\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}log(-\frac{\pi }{2{\eta }_2}) \end{gathered}$$

由此就将高斯分布整理成了指数族分布的形式：

$$\begin{gathered} P(x|\theta )=h(x)exp\left\{{\eta }^T\varphi (x)-A(\eta )\right\} \\ h(x)=1\eta =\left(\begin{array}{c}{\eta }_1\\ {\eta }_2\end{array}\right)=\left(\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right)\varphi (x)=\left(\begin{array}{c}x\\ x^2\end{array}\right)A(\eta )=\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}log(-\frac{\pi }{2{\eta }_2}) \end{gathered}$$

三、对数配分函数与充分统计量

通过对指数族分布的通用形式进行整理，可以得出对数配分函数与充分统计量
的特定关系：

P ( x ∣ η ) = h ( x ) e x p { η T ϕ ( x ) − A ( η ) } = 1 e x p { A ( η ) } h ( x ) e x p { η T ϕ ( x ) } 由 前 面 介 绍 的 内 容 可 知 配 分 函 数 e x p { A ( η ) } = ∫ h ( x ) e x p { η T ϕ ( x ) } d x ⇒ ∂ e x p { A ( η ) } ∂ η = ∂ ( ∫ h ( x ) e x p { η T ϕ ( x ) } d x ) ∂ η ⇒ e x p { A ( η ) } A ′ ( η ) = ∫ h ( x ) e x p { η T ϕ ( x ) } ϕ ( x ) d x ⇒ A ′ ( η ) = ∫ h ( x ) e x p { η T ϕ ( x ) } ϕ ( x ) d x e x p { A ( η ) } = ∫ h ( x ) e x p { η T ϕ ( x ) − A ( η ) } ⏟ P ( x ∣ η ) ϕ ( x ) d x = ∫ P ( x ∣ η ) ϕ ( x ) d x = E P ( x ∣ η ) [ ϕ ( x ) ] P(x|\eta )=h(x)exp\left \{\eta ^{T}\phi (x)-A(\eta )\right \}\\ =\frac{1}{exp\left \{A(\eta )\right \}}h(x)exp\left \{\eta ^{T}\phi (x)\right \}\\ 由前面介绍的内容可知配分函数exp\left \{A(\eta )\right \}=\int h(x)exp\left \{\eta ^{T}\phi (x)\right \}\mathrm{d}x\\ \Rightarrow \frac{\partial exp\left \{A(\eta )\right \}}{\partial \eta }=\frac{\partial (\int h(x)exp\left \{\eta ^{T}\phi (x)\right \}\mathrm{d}x)}{\partial \eta }\\ \Rightarrow exp\left \{A(\eta )\right \}A^{'}(\eta )=\int h(x)exp\left \{\eta ^{T}\phi (x)\right \}\phi (x)\mathrm{d}x\\ \Rightarrow A^{'}(\eta )=\frac{\int h(x)exp\left \{\eta ^{T}\phi (x)\right \}\phi (x)\mathrm{d}x}{exp\left \{A(\eta )\right \}}\\ =\int \underset{P(x|\eta )}{\underbrace{h(x)exp\left \{\eta ^{T}\phi (x)-A(\eta )\right \}}}\phi (x)\mathrm{d}x\\ =\int P(x|\eta )\phi (x)\mathrm{d}x\\ =E_{P(x|\eta )}[\phi (x)] P(x∣η)=h(x)exp{ηTϕ(x)−A(η)}=exp{A(η)}1​h(x)exp{ηTϕ(x)}由前面介绍的内容可知配分函数exp{A(η)}=∫h(x)exp{ηTϕ(x)}dx⇒∂η∂exp{A(η)}​=∂η∂(∫h(x)exp{ηTϕ(x)}dx)​⇒exp{A(η)}A′(η)=∫h(x)exp{ηTϕ(x)}ϕ(x)dx⇒A′(η)=exp{A(η)}∫h(x)exp{ηTϕ(x)}ϕ(x)dx​=∫P(x∣η) h(x)exp{ηTϕ(x)−A(η)}​​ϕ(x)dx=∫P(x∣η)ϕ(x)dx=EP(x∣η)​[ϕ(x)]

类似地，继续对$A(\eta )$求二阶导数:

$$\begin{gathered} A^{{}^{\prime \prime }}(\eta )=\frac{\partial (\int h(x)exp\left\{{\eta }^T\varphi (x)-A(\eta )\right\}\varphi (x)\mathrm{d}x)}{\partial \eta } \\ =\int \underset{P(x|\eta )}{\underbrace{h(x)exp\left\{{\eta }^T\varphi (x)-A(\eta )\right\}}}(\varphi (x)-A^{{}^{\prime }}(\eta ))\varphi (x)\mathrm{d}x \\ =\int P(x|\eta )(\varphi (x)-E_{P(x|\eta )}[\varphi (x)])\varphi (x)\mathrm{d}x \\ =\int P(x|\eta ){\varphi }^2(x)-E_{P(x|\eta )}[\varphi (x)]P(x|\eta )\varphi (x)\mathrm{d}x \\ =\int P(x|\eta ){\varphi }^2(x)\mathrm{d}x-E_{P(x|\eta )}[\varphi (x)]\int P(x|\eta )\varphi (x)\mathrm{d}x \\ =E_{P(x|\eta )}[{\varphi }^2(x)]-E_{P(x|\eta )}^2[\varphi (x)] \\ =Va{r}_{P(x|\eta )}[\varphi (x)] \\ 由于方差\ge 0，则A^{{}^{\prime \prime }}(\eta )\ge 0，因此A(\eta )是凸函数。 \end{gathered}$$

四、极大似然估计与充分统计量

上述推导都是在无样本条件下进行的，在有样本的情况下我们也可以通过极大似然估计法来获得一些特定的关系，假设有如下数据：

D = { x 1 , x 2 , ⋯   , x N } D=\left \{x_{1},x_{2},\cdots ,x_{N}\right \} D={x1​,x2​,⋯,xN​}

然后使用极大似然估计法求解$\eta$：

$$\begin{gathered} {\eta }_{MLE}=\underset{\eta }{\mathrm{argmax}}logP(D|\eta ) \\ =\underset{\eta }{\mathrm{argmax}}log\prod _{i=1}^{N}P(x_i|\eta ) \\ =\underset{\eta }{\mathrm{argmax}}\sum _{i=1}^{N}logP(x_i|\eta ) \\ =\underset{\eta }{\mathrm{argmax}}\sum _{i=1}^{N}log[h(x_i)exp\left\{{\eta }^T\varphi (x_i)-A(\eta )\right\}] \\ =\underset{\eta }{\mathrm{argmax}}\sum _{i=1}^N[\underset{与\eta 无关}{\underbrace{logh(x_i)}}+{\eta }^T\varphi (x_i)-A(\eta )] \\ =\underset{\eta }{\mathrm{argmax}}\sum _{i=1}^N[{\eta }^T\varphi (x_i)-A(\eta )] \\ \frac{\partial {\sum }_{i=1}^N[{\eta }^T\varphi (x_i)-A(\eta )]}{\partial \eta } \\ =\sum _{i=1}^N\frac{\partial [{\eta }^T\varphi (x_i)-A(\eta )]}{\partial \eta } \\ =\sum _{i=1}^N[\varphi (x_i)-A^{{}^{\prime }}(\eta )] \\ =\sum _{i=1}^N\varphi (x_i)-N{A}^{{}^{\prime }}(\eta ) \\ =0 \\ \Rightarrow A^{{}^{\prime }}({\eta }_{MLE})=\frac{1}{N}\sum _{i=1}^N\varphi (x_i) \end{gathered}$$

${\eta }_{MLE}$就可以通过求$A^{{}^{\prime }}(\eta )$的反函数求出来。这说明$\varphi (x_i)$是充分统计量，因为只需要记录$\frac{1}{N}{\sum }_{i=1}^N\varphi (x_i)$这一个值就可以求出$\eta$，进而通过$\eta$求出所有的参数。

五、最大熵

1. 概述

首先定义信息量和熵：

$$\begin{gathered} 信息量：-logp(x) \\ 熵： \\ H[P]=E[-logp(x)]=\int -p(x)logp(x)\mathrm{d}x(连续) \\ H[P]=E[-logp(x)]=-\sum _{i=1}^{N}p(x)logp(x)(离散) \end{gathered}$$

2. 离散情况下的最大熵

假设$x$是离散的：

x	1	2	$\cdots$	k
P	$p_1$	$p_2$	$\cdots$	$p_k$

通过求解以下约束优化问题可以求得使得离散情况下熵最大的分布：

$$\{\begin{array}{c}maxH[P]=max-{\sum }_{i=1}^k{p}_{i}log{p}_i\\ s.t.{\sum }_{i=1}^k{p}_i=1\end{array}\iff \{\begin{array}{c}min{\sum }_{i=1}^k{p}_{i}log{p}_i\\ s.t.{\sum }_{i=1}^k{p}_i=1\end{array}$$

使用拉格朗日乘子法进行求解：

$$\begin{gathered} L(P,\lambda )=\sum _{i=1}^k{p}_{i}log{p}_i+\lambda (1-\sum _{i=1}^k{p}_i) \\ \frac{\partial L}{\partial p_i}=log{p}_i+p_i\frac{1}{p_i}-\lambda =log{p}_i+1-\lambda =0 \\ \Rightarrow {\hat{p}}_i=exp(\lambda -1) \\ 也就是说每个{\hat{p}}_i都等于exp(\lambda -1)，由\sum _{i=1}^k{p}_i=1可以得到： \\ {\hat{p}}_1={\hat{p}}_2=\cdots ={\hat{p}}_k=\frac{1}{k} \\ \therefore P(x)是均匀分布。 \end{gathered}$$

离散情况下均匀分布会使得熵最大。也就是说在没有任何已知条件约束的情况下均匀分布的熵最大。

3. 最大熵原理

上一部分得出在无任何已知的情况下的最大熵对应的分布为均匀分布，而在满足一定的约束（已知事实）的条件下就要使用最大熵原理来进行求解。

首先要说明已知事实指的就是我们已经有了一部分数据：

D a t a = { x 1 , x 2 , ⋯   , x N } Data=\left \{x_{1},x_{2},\cdots ,x_{N}\right \} Data={x1​,x2​,⋯,xN​}

然后根据数据我们可以定义其经验分布：

$$\hat{p}(x=n)=\hat{p}(n)=\frac{count(n)}{N}$$

通过该分布可以获得数据的一些属性，比如$E_{\hat{p}}[x],Va{r}_{\hat{p}}[x],\cdots$。另外我们假设$f(x)$是任意关于$x$的函数向量，满足：

$$\begin{gathered} E_{\hat{p}}[f(x)]=\Delta \\ 其中f(x)=\left(\begin{array}{c}{f}_1(x)\\ f_2(x)\\ ⋮\\ f_Q(x)\end{array}\right)\Delta =\left(\begin{array}{c}{\Delta }_1\\ {\Delta }_2\\ ⋮\\ {\Delta }_Q\end{array}\right) \end{gathered}$$

也就是说现在需要满足上述约束条件，于是在该约束下求解最大熵的分布就转换成了一个约束优化问题：

$$\{\begin{array}{c}min{\sum }_{x}p(x)logp(x)\\ s.t.{\sum }_{x}p(x)=1\\ E_p[f(x)]=E_{\hat{p}}[f(x)]=\Delta \end{array}$$

然后就可以使用拉格朗日乘子法进行求解，首先定义拉格朗日函数：

$$L(P,{\lambda }_0,\lambda )=\sum _{x}p(x)logp(x)+{\lambda }_0(1-\sum _{x}p(x))+{\lambda }^T(\Delta -E_p[f(x)])$$

接着对$p(x)$进行求导，这里指的是对每个$p(x_i)进行求导$：

$$\begin{gathered} \frac{\partial L}{\partial p(x)}=logp(x)+p(x)\frac{1}{p(x)}-{\lambda }_0-{\lambda }^T\frac{\partial {\sum }_{x}p(x)f(x)}{\partial p(x)} \\ =logp(x)+1-{\lambda }_0-{\lambda }^{T}f(x) \\ =0 \\ \Rightarrow logp(x)={\lambda }^{T}f(x)+{\lambda }_0-1 \\ \Rightarrow p(x)=exp\left\{{\lambda }^{T}f(x)-(1-{\lambda }_0)\right\} \end{gathered}$$

显示$p(x)$是一个指数族分布，因此对于连续变量$x$，其在满足既定事实的条件下对应的最大熵的分布是一个指数族分布。

公众号同步更新

---

---