基础—数学—Exponential Family

转载自（http://blog.sina.com.cn/s/blog_a8fead9b01014p6i.html， 
machinelearningblog的博客
）

Exponential Family是一类非常普遍的概率密度函数族，其最简单的形式如下所示：

事实上很多我们熟知的概率分布都属于Exponential Family，例如正态分布：

在Exponential Family中，函数A与T之间有着紧密的联系，事实上考虑Canonical的Exponential Family，即theta等于eta的时候，有下式成立：

事实上，在概率统计理论中，这里的T(x)是x的sufficient statistics，一般意义上来说Sufficient Statistics是指对于一个参数化的概率分布，E[T(x)]给出了关于参数theta的所有信息，即theta和x独立，conditioned on E[T(x)]。

由于T(x)是x的sufficient statistics，所以我们只需要用到E[T(x)]的信息即可计算出theta，因此在MAP Estimation中我们只需用到T(x)的Empirical Expectation，这使得我们的需要存储的信息量大大减少。事实上，考虑概率密度函数：

我们计算它的log-likelihood：

对两端进行求导，令其等于0：

应用之前的结论，我们有：

在Bayesian setting中，我们需要考虑eta的prior distribution，并通过数据计算出eta的posterior distribution，一个distribution family的conjugate distribution是指对于某类概率密度函数，其prior若属于该conjugate distribution，则posterior也属于同一类conjugate distribution。

对于Exponential Family来说，若其概率密度函数如下所示：

则其conjugate distribution如下所示：