指数分布族

指数分布族

指数分布族是指可以表示为指数分布的概率分布。指数分布形式如下：

$$P(y;\eta)=b(y)exp(\eta^{T}T(y)-\alpha(\eta))$$
其中， $\eta$成为分布的自然参数；T(y)是充分统计量，通常 $T(y)=y$。当a、b、T参数都固定的时候，就定义了一个以 $\eta$为参数的指数函数族。

实际上，大多数概率分布都可以表示成上面公式给出的形式：

1）伯努利分布：对0、1问题进行建模
2）多项式分布：对K个离散结果的事件建模
3）泊松分布：对计数过程进行建模
4）伽马分布与指数分布：对间隔的正数进行建模
5）Beta分布：对小数进行建模
6）Dirichlet分布：对小数进行建模
7）Wishart分布：对协方差进行建模
8）高斯分布

示例

我们将高斯分布与伯努利分布表示成指数分布族的形式。

伯努利分布

伯努利分布是对0、1问题进行建模，特可以表示成如下形式：

$$P(y;\varphi)=\varphi^y(1-\varphi)^{1-y} \quad y\in{0,1}$$

将伯努利分布表示成如下形式，对比指数族分布公示

其中可以看到，$\eta$的形式为logisic函数，这是因为logistic模型对问题的先验概率估计是伯努利分布的缘故。

高斯分布

高斯分布可以推导出线性模型，由线性模型的假设函数可知，高斯分布的方差与假设函数无关，因而为简便计算，我们将方差设为1，即使不这样做，最后的结果也是作为一个系数而已，高斯分布转换为指数分布形式的推导过程如下：

我们最终一样可以把高斯分布以指数分布族函数的形式表示。

后记

1) 这里说明指数分布族的目的，是为了说明关于线性模型(Generalized Linear Model).
2) 凡是符合指数分布族的随机变量，都可以用广义线性模型(GLM)进行分析。

备注

指数分布族的无记忆性，教科书上所说的无记忆性（Memoryless Property，又称遗失记忆性）。这表示如果一个随机变量呈指数分布，它的条件概率遵循：

$$P(T>s+t\;T>t)=P(T>s), \quad for\quad all,\quad s.t>0$$
有兴趣的同学可以深入理解一下。