指数族分布

写在前面：本文只是对暂时学到的指数族分布的理论知识进行总结，至于指数族分布在实际机器学习中的具体应用，等后续学习到了再进行补充，也欢迎有经验的大佬赐教~

文章将按照下面的思路进行：

• 第一章首先给出指数族分布通用的 pdf 的表达式，简单介绍什么是充分统计量和对数配分函数；接着将一元高斯分布的 pdf 改写成指数族分布的通用形式，以加深对该 pdf 的理解；
• 第二章通过两种方式推导指数族分布的 pdf 中充分统计量和对数配分函数的关系：一种是直接在 pdf 上进行推导，另一种是通过极大似然估计的方式进行（即有了数据）；
• 第三章简单介绍一下指数族分布具有的共轭性质，通过共轭性质我们可以简化计算；
• 第四章介绍一下最大熵原理，并证明对于经验分布，通过基于最大熵原理导出的分布就是指数族分布；
• 第五章简单提一下涉及到指数族分布的一些模型、算法

一、指数族分布的概率密度函数

1.1 通用概率密度函数

指数族分布其实是一类分布，包括高斯分布、伯努利分布、二项分布、泊松分布、Beta分布、Gamma分布、Dirichlet分布……但它们都能写成统一的形式：
p ( x ∣ η ) = h ( x ) e x p { η T ϕ ( x ) − A ( η ) } p(x|\eta)=h(x)exp\{\eta^T\phi(x)-A(\eta)\} p(x∣η)=h(x)exp{ηTϕ(x)−A(η)}
如果将$A(\eta )$提到指数部分前面，则公式可以等价写作：
p ( x ∣ η ) = 1 e x p { A ( η ) } h ( x ) e x p { η T ϕ ( x ) } p(x|\eta)=\frac{1}{exp\{A(\eta)\}}h(x)exp\{\eta^T\phi(x)\} p(x∣η)=exp{A(η)}1​h(x)exp{ηTϕ(x)}

1.2 一元高斯分布

举个栗子，将一元高斯分布改写成指数族分布的 pdf 的形式：

二、充分统计量和对数配分函数的关系

下面我们通过两种方式进行推导，无论通过哪种方式推导，得到的结果都是一样的。

2.1 基于函数解析式

2.2 基于极大似然估计

至此，我们得出了$\varphi (x)$和$A(\eta )$的关系，当其中一个已知的时候，我们可以简单地求出另外一个

三、共轭（有先验信息）

简单来说，共轭的结果体现在先验和后验服从的是同一种分布，基于这种特性有时可以大大化简计算。

在贝叶斯公式中，
$$p(z|x)=\frac{p(x|z)p(z)}{{\int }_{z}p(x|z)p(z)dz}$$
我们常常会遇到分母处的积分难以计算，或者是后验本身过于复杂，导致其某些特性（例如$E_{p(z|x)}[f(x)]$）难求，这时，我们会采用某些方法来近似计算，例如MCMC或者变分推断等。而利用指数族分布的共轭性质，也是简化该计算过程的一种比较取巧的方式，例如我们选取似然是二项分布，先验是Beta分布，那么由共轭性质可知，后验所服从的也一定是Beta分布。

四、最大熵原理（无先验信息）

4.1 最大熵

首先我们介绍一下什么是最大熵，简单来说，最大熵意味着所有事件发生的概率一样大，即等可能，推导如下：

4.2 最大熵原理

那么什么是最大熵原理呢？其实它只是在最大熵的基础上，增加了满足已知事实的约束而已（已知事实也就是数据）

问题是怎么将数据转换成约束呢？我们可以这么做：

至此，问题又转换成了如4.1一般的优化问题：

综上，我们得出了这样一个结论：对于经验分布，基于最大熵原理导出的分布是指数族分布

五、应用

指数族分布在包括但不限于以下几个方面都有着重要的应用，后续在写文章进行介绍：

• 广义线性模型
• 概率图模型
• 变分推断
  论：对于经验分布，基于最大熵原理导出的分布是指数族分布