8 深入了解：指数族分布

1 背景

机器学习经常要做这样一件事：给定一组训练数据 D，我们希望通过 D 得到我们研究的空间的概率分布。但是在没有任何假设的情况下，直接学习概率分布是不现实的。直接学习概率分布最简单的方法，就是把空间分成很多很多小的单元，然后统计样本落在每个单元的频率，作为每个单元的概率分布。但是这种方法会面临着数据不足、有噪音、存储能力受限等问题。

所以在大多数情况下，我们都会人为指定某种概率分布的形式（例如指定为高斯分布或伯努利分布等）。当然，由于人为限定了概率分布形式，我们就需要根据不同的问题选择不同的分布，就像对不同问题选择不同的机器学习模型一样。

指数族是一类分布，包括高斯分布、伯努利分布、二项分布、泊松分布、Beta 分布、Dirichlet 分布、Gamma 分布等一系列分布。指数族分布可以写为统一的形式： $$p(x|\eta )=h(x)\exp ({\eta }^T\varphi (x)-A(\eta ))=\frac{1}{\exp (A(\eta ))}h(x)\exp ({\eta }^T\varphi (x))$$ 其中， $\eta$ 是参数向量， $A(\eta )$ 是对数配分函数（归一化因子）。

1.1 三大性质

1. 充分统计量
   在上面的式子中， $\varphi (x)$ 叫做充分统计量，包含样本集合所有的信息，例如高斯分布中的均值和方差。充分统计量在在线学习中有应用，对于一个数据集，只需要记录样本的充分统计量即可。
   例如 , 对 $p(x)$ 的估计： $$p(x|\theta )=\frac{1}{z}\hat{p}(x|\theta )$$
   其中， $z$ 是归一化因子，也叫配分函数。我们知道， $p(x|\theta )$ 是概率分布，对 $x$ 进行积分为 1，此时 $z$ 相当于常数，于是可得下式：
   $$\begin{array}{rl}1={\int }_{x}p(x|\theta )dx& =\frac{1}{z}\int \hat{P}(x|\theta )dx\\ & =\frac{1}{z}\int \hat{p}(x|\theta )dx\end{array}$$
   此时，将指数族分布进行整理：
   $$\begin{array}{rl}p(x|\eta )& =h(x)\exp ({\eta }^T\varphi (x)-A(\eta ))\\ & =\frac{1}{\exp (A(\eta ))}h(x)\exp ({\eta }^T\varphi (x))\\ & =\frac{1}{z}\hat{p}(x|\theta )\end{array}$$
   可得： $exp(A(\eta ))=z，A(\eta )=logz$，所以 $A(\eta )$ 叫做配分函数。
   进一步，以高斯分布为例，令： $$\varphi (x)=\left(\begin{array}{l}{\sum }_{i=1}^N{x}_i\\ {\sum }_{i=1}^N{x}_i^2\end{array}\right)$$
   ”统计“：即表示对样本的统计值
   ”充分“：通过上面两个统计值，可以求得均值和方差，进而可以获得高斯分布表达式。
   充分统计量在在线学习中有应用，对于一个数据集，只需要记录样本的充分统计量即可。
2. 共轭先验
   $$P(z|x)=\frac{P(x|z)p(z)}{{\int }_{z}P(x|z)P(z)dz}$$

我们知道，上式中分母积分十分难计算，为了解决积分难计算的问题，一个思路是能否绕过积分呢？我们知道存在如下关系 $P(z|x)\propto p(x|z)p(z)$，其中 $P(z|x)$ 是后验分布， $p(x|z)$ 是似然， $p(z)$ 是先验。

在已知似然函数的情况下，选取什么样的先验分布能够使得后验分布与先验分布具有相同的数学形式呢？

如果存在这样的⼀个先验分布，那么上⼀时刻的输出可以作为下⼀时刻计算的先验分布，那么这样整个计算就可以形成闭环。也就是说如果后验分布和先验分布是同分布，此时我们称先验分布和后验分布是共轭分布，且称先
验分布是似然函数的共轭先验。⽐如⾼斯分布家族在⾼斯似然函数下与其⾃身共轭，也叫⾃共轭。

共轭先验的好处主要在于代数上的⽅便性，可以直接给出后验分布的封闭形式，否则的话只能做数值计算。共轭先验也有助于活的关于似然函数如何更新先验分布的直观印象。

对于一个模型分布假设（似然），那么我们在求解中，常常需要寻找一个共轭先验，使得先验与后验的形式相同，例如选取似然是二项分布，可取先验是 Beta 分布，那么后验也是 Beta 分布。指数族分布常常具有共轭的性质，于是我们在模型选择以及推断具有很大的便利。

3. 最大熵（无信息先验）
   ⽆信息先验是指先验分布尽可能对后验分布产⽣⼩的影响，即尽可能的随机性，其实就是最⼤熵原理。

1.2 三大重要应用

1. 广义线性模型
   数族分布在此模型中占据重要地位：
   广义线性模型主要是为了解决回归和分类问题，在线性模型的基础上进行扩展，有如下：

• 线性组合
• link function (激活函数的反函数)
• 指数族分布 $y|x$ 满足指数族分布

线性回归中： [公式]
分类： [公式]
特殊情况： [公式]

2. 概率图模型
   无向图：RBM（限制玻尔兹曼机）
3. 变分推断
   指数族分布占据重要地位
   若其中的分布满足指数族分布，则会使变分推断大大简化。

观察到指数族分布的表达式类似线性模型，事实上，指数族分布很自然地导出广义线性模型： $$\begin{gathered} y=f(w^{T}x) \\ y|x\sim ExpFamily \end{gathered}$$ 在更复杂的概率图模型中，例如在无向图模型中如受限玻尔兹曼机中，指数族分布也扮演着重要作用。

在推断的算法中，例如变分推断中，指数族分布也会大大简化计算。

2 高斯分布的指数形式

一维高斯分布可以写成： $$p(x|\theta )=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$
其中， $\theta =(\mu ,{\sigma }^2)$，对上式进行改写：
$$\begin{array}{rl}P(x|\theta )& =\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)\\ & =\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{1}{2{\sigma }^2}\left(x^2-2x\mu +{\mu }^2\right)\right)\\ & =\exp \log {\left(2x{\sigma }^2\right)}^{-\frac{1}{2}}\cdot \exp \left\{-\frac{1}{2{\sigma }^2}\left(x^2-2\mu x\right)-\frac{u^2}{2{\sigma }^2}\right\}\\ & =\exp \log {\left(2x{\sigma }^2\right)}^{-\frac{1}{2}}\cdot \exp \left(-\frac{1}{2{\sigma }^2}(-2\mu 1)\left(\begin{array}{c}x\\ x^2\end{array}\right)-\frac{{\mu }^2}{2{\sigma }^2}\right)\\ & =\exp \left\{\left(\frac{\mu }{{\sigma }^2}-\frac{1}{2{\sigma }^2}\right)\left(\begin{array}{c}x\\ x^2\end{array}\right)-\left(\frac{u^2}{2{\sigma }^2}+\frac{1}{2}\log \left(2\pi {\sigma }^2\right)\right)\right\}\end{array}$$
将上式与指数族分布进行对应，可得，

$$\begin{array}{l}\Rightarrow \eta =\left(\begin{array}{l}{\eta }_1\\ {\eta }_2\end{array}\right)=\left(\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right)\Rightarrow \{\begin{array}{l}\mu =-\frac{{\eta }_1}{2{\eta }_2}\\ {\sigma }^2=-\frac{1}{2{\eta }_2}\end{array}\\ \\ \begin{array}{r}\varphi (x)=\left(\begin{array}{l}x\\ x^2\end{array}\right)\\ \\ A(\eta )=\frac{u^2}{2{\sigma }^2}+\frac{1}{2}\log \left(2\pi {\sigma }^2\right)\\ \\ =\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}\log \left(-\frac{\pi }{2{\eta }_2}\right)\end{array}\\ \\ \Rightarrow P(x|\theta )=1\cdot \exp \left\{{\eta }^{\top }\varphi (x)-A(\eta )\right\}\end{array}$$

3 对数配分函数 $A(\eta )$ 和充分统计量 $\varphi (x)$ 的关系

对概率密度函数 $$p(x|\eta )=h(x)\exp ({\eta }^T\varphi (x)-A(\eta ))=\frac{1}{\exp (A(\eta ))}h(x)\exp ({\eta }^T\varphi (x))$$ 求积分，积分值为 1，将 $\frac{1}{\exp (A(\eta ))}$看作常数，那么可得下式：
$$\exp (A(\eta ))=\int h(x)\exp ({\eta }^T\varphi (x))dx$$
两边对参数求导： $$\exp (A(\eta ))A^{\prime }(\eta )=\int h(x)\exp ({\eta }^T\varphi (x))\varphi (x)dx$$
$$\begin{array}{rl}{A}^{\prime }(\eta )& =\frac{\int h(x)\exp \left({\eta }^{\top }\varphi (x)\right)\cdot \varphi (x)\cdot dx}{\exp (A(\eta ))}\\ & =\int h(x)\exp \left({\eta }^{\top }\varphi (x)-A(\eta )\right)\cdot \varphi (x)dx\\ & =\int p(x|\eta )\cdot \varphi (x)dx\\ & ={\mathbb{E}}_{p(x|\eta )}[\varphi (x)]\end{array}$$
类似的：$$A^{\prime \prime }(\eta )=Va{r}_{p(x|\eta )}[\varphi (x)]$$ 由于方差为正，于是 $A(\eta )$ 一定是凸函数。

方差为正，一定是凸函数？

我们可以将上述结果带到高斯分布进行检验：
在上一节知道
$$\begin{array}{l}\eta =\left(\begin{array}{l}{\eta }_1\\ {\eta }_2\end{array}\right)=\left(\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right)\Rightarrow \{\begin{array}{l}\mu =-\frac{{\eta }_1}{2{\eta }_2}\\ {\sigma }^2=-\frac{1}{2{\eta }_2}\end{array}\\ \\ \begin{array}{r}\varphi (x)=\left(\begin{array}{l}x\\ x^2\end{array}\right)\\ \\ A(\eta )=\frac{u^2}{2{\sigma }^2}+\frac{1}{2}\log \left(2\pi {\sigma }^2\right)\\ \\ =\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}\log \left(-\frac{\pi }{2{\eta }_2}\right)\end{array}\\ \\ \Rightarrow P(x|\theta )=1\cdot \exp \left\{{\eta }^{\top }\varphi (x)-A(\eta )\right\}\end{array}$$
那么，
$$E[\varphi (x)]=\left[\begin{array}{l}E(x)\\ E\left(x^2\right)\end{array}\right]$$易知， $E(x)=\mu$，对应的是 $$\frac{\partial A(\eta )}{d{\eta }_1}=\frac{2{\eta }_1}{4{\eta }_2}=\frac{-2\cdot \mu /{\sigma }^2}{4\cdot \left(-\frac{1}{2{\sigma }^2}\right)}=\mu$$
$$E(x^2)=(Ex{)}^2+Var(x)={\mu }^2+{\sigma }^2$$
$$\begin{array}{rl}\frac{\partial A(\eta )}{d{\eta }_2}=\frac{{\eta }_1^2}{4{\eta }_2^2}-\frac{1}{2{\eta }_2}& =\frac{{\left(\mu /{\sigma }^2\right)}^2}{4{\left(-\frac{1}{2{\sigma }^2}\right)}^2}-\frac{1}{2\cdot \left(-\frac{1}{2{\sigma }^2}\right)}\\ & =u^2+{\sigma }^2\end{array}$$
也就是本节的结论。

4 极大似然估计和充分统计量 $\varphi (x)$

前面的结论： $$p(x|\eta )=h(x)\exp ({\eta }^T\varphi (x)-A(\eta ))=\frac{1}{\exp (A(\eta ))}h(x)\exp ({\eta }^T\varphi (x))$$

• $\eta$ 是参数向量
• $A(\eta )$ 是对数配分函数（归一化因子）
• $\varphi (x)$ 叫做充分统计量
• 其中 $$A^{\prime }(\eta )=\mathbb{E}p(x|\eta )[\varphi (x)]$$ $$A^{\prime \prime }(\eta )=Var[\varphi (x)]$$

对于独立全同采样得到的数据集 $\mathcal{D}=x_1,x_2,\cdots ,x_N$​，由极大似然估计可得

$$\begin{array}{rl}& \begin{array}{rl}{\eta }_{mle}& =\arg \underset{\eta }{\max }\log P(D|\eta )\\ & =\arg \underset{\eta }{\max }\log \prod _{i=1}^{N}P\left(x_i|\eta \right)\\ & =\arg \underset{\eta }{\max }\sum _{i=1}^N\log P\left(x_i|\eta \right)\end{array}\\ & =\arg \underset{\eta }{\max }\sum _{i=1}^N\log [h(x)\exp \left\{{\eta }^{\top }\varphi (x_i)-A(\eta )\right\}\\ & =\arg \underset{\eta }{\max }\sum _{i=1}^N\left[\log h_i(x)+{\eta }^{\top }\varphi (x_i)-A(\eta )\right\}\\ & =\arg \underset{\eta }{\max }\sum _{i=1}^N\left[{\eta }^{\top }\varphi (x_i)-A(\eta )\right]\end{array}$$
求导，并令积分为0
$$\begin{array}{rl}\frac{\partial {\sum }_{i=1}^N\left[n^{\top }{\varphi }_i(x)-A(\eta )\right]}{\partial \eta }& =\sum _{i=1}^N\left[\varphi (x_i)-A^{\prime }(\eta )\right]\\ & =\sum _{i=1}^N{\varphi }_i(x)-N{A}^{\prime }(\eta )=0\\ \Rightarrow & A^{\prime }\left({\eta }^{\ast }\right)=\frac{1}{N}\sum _{i=1}^N\varphi (x_i)\end{array}$$
令 $g(\eta )=A^{\prime }\left({\eta }^{\ast }\right)$，故 ${\eta }^{\ast }=g^{-1}(\eta )$。（即 ${\eta }^{\ast }$ 是 $A^{\prime }\left({\eta }^{\ast }\right)$ 的反函数）

对于高斯分布而言， ${\eta }^{\ast }$ 表示 $(\mu ,{\sigma }^2)$ 这些参数，为求解分布表达式，不用保存每一个样本，相反我们只需求出一个值，即 $\frac{1}{N}{\sum }_{i=1}^N\varphi (x_i)$ 就能利用反函数求出 ${\eta }_{mle}$ 。也就是为了估算参数，只需要知道充分统计量就可以了。

5 最大熵角度

5.1 无约束时的最大熵

信息量： $-logP$
信息量与概率成反比，可以这样理解，如果一件事发生的概率非常大，那么它包含的信息就非常少，因为这件事已经确定会发生了。

信息熵：
连续函数： $$Entropy=\int -p(x)\log (p(x))dx$$
离散函数：$$Entropy=\sum _{k=1}^K{p}_k\log p_k$$

一般地，对于完全随机的变量（等可能），信息熵最大。

接下来我们求解一下什么分布下熵最大?

我们的假设为最大熵原则，假设数据是离散分布的， $k$ 个特征的概率分别为 $p_k$ ​，最大熵原理可以表述为：
$$\max H(p)=\min \sum _{k=1}^K{p}_k\log p_{k}s.t.\sum _{k=1}^K{p}_k=1$$

利用 Lagrange 乘子法：
$$L(p,\lambda )=\sum _{k=1}^K{p}_k\log p_k+\lambda (1-\sum _{k=1}^K{p}_k)$$
求导，可得：
$$\begin{array}{c}\frac{\partial L(p,x)}{\partial p_i}=\log p_i+1-\lambda =0\\ \\ {\hat{p}}_i=\exp (\lambda -1)\end{array}$$
又因为 $\lambda$ 是一个常数，于是可得：
$$p_1=p_2=\cdots =p_K=\frac{1}{K}$$
因此在没有任何已知情况下， $p(x)$ 是均匀分布的时候，熵最大。

5.2 有约束时的最大熵

上⼀节结论是在没有任何已知信息，或者说没有约束的情况下，均匀分布的熵最⼤。

下⾯讨论⼀下在只有数据的情况下，怎么生成约束，进而求解有约束的情况。

一个数据集 $\mathcal{D}$，在这个数据集上的经验分布为 $\hat{p}(x)=\frac{Count(x)}{N}$，实际不可能满足所有的经验概率相同，于是在上面的最大熵原理中还需要加入这个经验分布的约束。

那么，可令 $f(x)$ 是关于 $x$ 的任意函数，为了具有一般性，假设 $f(x)$ 是一个向量，也就是说 $f(x)$ 中的数据是关于 $x$ 的函数。对任意一个函数，经验分布的经验期望可以求得为：
$$\mathbb{E}\hat{p}[f(x)]=\Delta$$这也可以当做是已知条件。
于是：
$$\begin{gathered} \max H(p)=\min \sum _{k=1}^N{p}_k\log p_k \\ s.t.\sum _{k=1}^N{p}_k=1,\mathbb{E}p[f(x)]=\Delta \end{gathered}$$
Lagrange 函数为：
$$L(p,{\lambda }_0,\lambda )=\sum _{k=1}^N{p}_k\log p_k+{\lambda }_0(1-\sum _{k=1}^N{p}_k)+{\lambda }^T(\Delta -\mathbb{E}p[f(x)])$$
求导得到：
$$\begin{array}{rl}\frac{\partial }{\partial p(x)}L& =\sum _{k=1}^N(\log p(x)+1)-\sum _{k=1}^N{\lambda }_0-\sum _{k=1}^N{\lambda }^{T}f(x)\\ & ⟹\sum _{k=1}^N\log p(x)+1-{\lambda }_0-{\lambda }^{T}f(x)=0\end{array}$$
由于数据集是任意的，对数据集求和也意味着求和项里面的每一项都是0：
$$p(x)=\exp ({\lambda }^{T}f(x)+{\lambda }_0-1)$$
$p(x)$ 就是指数族分布。

所以，在有约束的情况下，指数族分布的熵最大。

版权声明：本文为CSDN博主「AI路上的小白」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/cengjing12/article/details/106345098