指数族分布
定义
Exponential Families of Distributions。指数族分布包括高斯分布、伯努利分布、二项分布、泊松分布、Beta 分布、Gamma 分布等一系列分布。
指数族分布指具有如下特定形式的概率分布的参数集合:
p X ( x ∣ θ ) = h ( x ) e x p [ η ( θ ) ⋅ T ( x ) − A ( θ ) ] p_X(x\mid \theta)=h(x)exp[\eta(\theta)\cdot T(x)-A(\theta)] pX(x∣θ)=h(x)exp[η(θ)⋅T(x)−A(θ)]
其中, T ( x ) 、 h ( x ) 、 η ( θ ) 、 A ( θ ) T(x)、h(x)、\eta(\theta)、A(\theta) T(x)、h(x)、η(θ)、A(θ) 是已知函数,也就是说只有参数 θ \theta θ 未知。 θ \theta θ 称为族的参数。 A ( θ ) A(\theta) A(θ)也叫 log partition-function(log配分函数)。
也有其它等效形式:
p X ( x ∣ θ ) = h ( x ) g ( θ ) e x p [ η ( θ ) ⋅ T ( x ) ] p_X(x\mid \theta)=h(x)g(\theta)exp[\eta(\theta)\cdot T(x)] pX(x∣θ)=h(x)g(θ)exp[η(θ)⋅T(x)]
或:
p X ( x ∣ θ ) = e x p [ η ( θ ) ⋅ T ( x ) − A ( θ ) + B ( x ) ] p_X(x\mid \theta)=exp[\eta(\theta)\cdot T(x)-A(\theta)+B(x)] pX(x∣θ)=exp[η(θ)⋅T(x)−A(θ)+B(x)]
或
p X ( x ∣ θ ) = h ( x ) e x p [ η ( θ ) ⋅ T ( x ) ] ⋅ e x p [ − A ( θ ) ] = 1 e x p [ A ( θ ) ] h ( x ) e x p [ η ( θ ) ⋅ T ( x ) ] \begin{aligned} p_X(x\mid \theta)&=h(x)exp[\eta(\theta)\cdot T(x)] \cdot exp[-A(\theta)]\\ &=\dfrac{1}{exp[A(\theta)]}h(x)exp[\eta(\theta)\cdot T(x)] \end{aligned} pX(x∣θ)=h(x)exp[η(θ)⋅T(x)]⋅exp[−A(θ)]=exp[A(θ)]1h(x)exp[η(θ)⋅T(x)]
配分函数
p ( x ∣ θ ) = 1 z p ^ ( x ∣ θ ) z 是归一化因子,跟x没有关系 p(x|\theta)=\dfrac{1}{z}\hat{p}(x|\theta)\qquad z\text{是归一化因子,跟x没有关系} p(x∣θ)=z1p^(x∣θ)z是归一化因子,跟x没有关系
配分函数是一个归一化的函数,目的使函数积分值为1。
∫ p ( x ∣ θ ) d x = ∫ 1 z p ^ ( x ∣ θ ) d x = 1 z = ∫ p ^ ( x ∣ θ ) d x \int p(x|\theta)dx=\int \dfrac{1}{z}\hat{p}(x|\theta)dx=1 \\ z=\int\hat{p}(x|\theta)dx ∫p(x∣θ)dx=∫z1p^(x∣θ)dx=1z=∫p^(x∣θ)dx
A ( θ ) A(\theta) A(θ) 其实是这么来的:
p ( x ∣ θ ) = 1 e x p [ A ( θ ) ] h ( x ) e x p [ η ( θ ) ⋅ T ( x ) ] ∫ p ( x ∣ θ ) d x = ∫ 1 e x p [ A ( θ ) ] h ( x ) e x p [ η ( θ ) ⋅ T ( x ) ] d x = 1 p(x|\theta)=\dfrac{1}{exp[A(\theta)]}h(x)exp[\eta(\theta)\cdot T(x)] \\ \int p(x|\theta)dx=\int\dfrac{1}{exp[A(\theta)]}h(x)exp[\eta(\theta)\cdot T(x)]dx=1 p(x∣θ)=exp[A(θ)]