指数族分布

指数族分布

定义

Exponential Families of Distributions。指数族分布包括高斯分布、伯努利分布、二项分布、泊松分布、Beta 分布、Gamma 分布等一系列分布。

指数族分布指具有如下特定形式的概率分布的参数集合：
$$p_X(x\mid \theta )=h(x)exp[\eta (\theta )\cdot T(x)-A(\theta )]$$
其中，$T(x)、h(x)、\eta (\theta )、A(\theta )$ 是已知函数，也就是说只有参数 $\theta$ 未知。$\theta$ 称为族的参数。$A(\theta )$也叫 log partition-function（log配分函数）。

也有其它等效形式：
$$p_X(x\mid \theta )=h(x)g(\theta )exp[\eta (\theta )\cdot T(x)]$$
或：
$$p_X(x\mid \theta )=exp[\eta (\theta )\cdot T(x)-A(\theta )+B(x)]$$

或
$$\begin{array}{rl}{p}_X(x\mid \theta )& =h(x)exp[\eta (\theta )\cdot T(x)]\cdot exp[-A(\theta )]\\ & =\frac{1}{exp[A(\theta )]}h(x)exp[\eta (\theta )\cdot T(x)]\end{array}$$

配分函数

$$p(x|\theta )=\frac{1}{z}\hat{p}(x|\theta )z\text{是归一化因子,跟x没有关系}$$

配分函数是一个归一化的函数，目的使函数积分值为1。
$$\begin{gathered} \int p(x|\theta )dx=\int \frac{1}{z}\hat{p}(x|\theta )dx=1 \\ z=\int \hat{p}(x|\theta )dx \end{gathered}$$
$A(\theta )$ 其实是这么来的：
$$p(x|\theta )=\genfrac{}{}{0ex}{}{}{exp[A(\theta )]}$$