一文了解什么是指数族分布

前言

指数分布族是一系列分布的统称，包含连续和离散的相关分布。例如，正态分布(Gaussian)、泊松分布（Poisson）、二项分布(Bernoulli)、指数分布(exponential)、Gamma分布、多项式分布(multivariate)等。指数分布族中的分布以及指数分布族的性质，经常用于机器学习(machine learning)模型的参数假设以及参数推理中。较为典型的模型是生成模型，例如主题模型(Topic Models)中经常使用到的共轭分布(multivariate和Dirichlet分布、Bernoulli和Beta分布、Poisson和gamma分布等)。指数分布族中的共轭经常用于参数推理、另外其统计特性经常用于变分推理。

指数族分布的一般表达式：

 

其中：

η：η为自然参数(natural parameter)，可以是向量形式

T(x)：T(x)为充分统计量(sufficient statistic)

A(η)：A(η)为累计函数(cumulant function)，作用是确保概率和为1

h(x)：h(x)为underlying measure

典型指数族分布转化

1、Poisson分布

泊松分布的标准形式为：

 

其对应的指数分布形式：

 

其中：

 

2、Gaussian分布

标准形式：

 

指数族分布形式：

 

其中：

 

3、Bernoulli分布

标准形式：

 

其中：

 

4、多元Gaussian分布

标准形式：

 

指数族形式：

 

5、Multinomial分布

标准形式：

 

指数族形式：

 

总结

在很多机器学习算法中，指数族分布是一个很重要的概念，比如在LDA算法，因此了解机器学习就从指数族分布开始吧。

https://www.toutiao.com/a6666028197546557956/