1.指数族分布是一类分布,包括高斯分布、伯努利分布、泊松分布等
2.指数族分布主要包含三个参数:自然参数,充分统计量和对数配分函数
3.对数配分函数一阶导等于充分统计量的期望,二阶导等于充分统计量的方差
4.从最大熵原理可以推导出指数族分布
指数族分布(exponential family)是指一类分布,包括高斯分布、伯努利分布、二项分布、泊松分布、伽马分布、贝塔分布等。很多数学模型都是建立在某种或某几种分布上的,比如风控金融判断好人坏人的伯努利分布,线性回归模型的高斯分布等。我们这一篇就详细介绍其特点与性质。
传送门:十二种概率分布及python实现
1.指数族分布
称一个概率密度函数族或概率质量函数族为指数族,如果它统一表示成:
注:定义出自《统计推断》102页
大多数情况下,我们采取更一般的参数化的形式:
我们先来看它的三个参数。
第一个参数是归一化因子,我们经常使用到,通常是把函数表达式映射到概率[0,1]之间:
我们又把归一化因子Z