200804本篇是学习信息论的入门笔记，希望能与各位分享进步！这是第九章：最大熵~
9. 最大熵
- 正问题：根据系统所受的外界作用估计系统产生的结果。
- 逆问题：根据系统产生的结果估计外界所用和过程。
- 过定：条件过多。
- 欠定：条件不足。
- 适定问题：解存在、惟一、连续依赖于初边值条件。
9.1 最大熵分布
-
约束条件： f ( x ) ⩾ 0 f(x)\geqslant 0 f(x)⩾0当 x x x在支撑集 S S S的外部时等号成立。 ∫ S f ( d ) d x = 1 \int_S f(d)dx = 1 ∫Sf(d)dx=1， ∫ S f ( x ) r i ( x ) d x = α i \int_Sf(x)r_i(x)dx = \alpha_i ∫Sf(x)ri(x)dx=αi。
-
信息不等式：若密度函数 g g g满足约束条件，而 f ∗ f^\ast f∗是解，则
0 ⩽ D ( g ∣ ∣ f ∗ ) ⩽ − h ( g ) + h ( f ∗ ) 0\leqslant D(g||f^\ast)\leqslant -h(g)+h(f^\ast) 0⩽D(g∣∣f∗)⩽−h(g)+h(f∗)
从而，对任何满足约束条件的密度函数 g g g，均有 h ( g ) ⩽ h ( f ∗ ) h(g)\leqslant h(f^\ast) h(g)⩽h(f∗)。
- 定理9.1.1 （最大熵分布） 设
f ∗ ( x ) = exp ( λ 0 + ∑ i = 1 m λ i r i ) f^\ast(x) = \exp(\lambda_0 + \sum_{i=1}^m\lambda_ir_i) f∗(x)=exp(λ0+i=1∑mλiri)
其中 λ i \lambda_i λi是使 f f f满足约束条件的待定系数。则 f ∗ f^\ast f∗是所有满足约束条件的概率密度函数中唯一能够使得 h ( f ) h(f) h(f)最大化的概率密度函数。
- 奇异： ∫ − ∞ ∞ f ( x ) d x = ∞ \int_{-\infty}^\infty f(x)dx = \infty ∫−∞∞f(x)dx=
最低0.47元/天 解锁文章
3355
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
