这篇笔记介绍了微分熵的概念，包括定义、连续随机变量的AEP、微分熵与离散熵的关系，以及联合微分熵、条件微分熵、相对熵和互信息的性质。内容涵盖信息熵的基础理论和应用。
200803本篇是学习信息论的入门笔记，希望能与各位分享进步！这是第六章：微分熵~
6. 微分熵
6.1 定义
-
定义6.1.1 设 X X X是一个随机变量，其累计分布函数为 F ( x ) = P r ( X ⩽ x ) F(x)=Pr(X\leqslant x) F(x)=Pr(X⩽x) 。如果 F ( x ) F(x) F(x)连续，则称该随机变量连续。另外，使 f ( x ) > 0 f(x)>0 f(x)>0 的所有 x x x构成的集合称为 X X X的支撑集。
-
定义6.1.2(微分熵) 一个以 f ( x ) f(x) f(x)为密度函数的连续型随机变量 X X X的微分熵 h ( X ) h(X) h(X)定义为
h ( X ) = − ∫ S f ( x ) log f ( x ) d x h(X) = - \int_S f(x)\log f(x)dx h(X)=−∫Sf(x)logf(x)dx
其中 S S S是这个随机变量的支撑集。离散的熵
H Δ x ( X ) = − ∑ i = − ∞ ∞ f ( x i Δ x ) log ( f ( x i ) Δ x ) H_{\Delta x}(X) = -\sum_{i=-\infty}^\infty f(x_i\Delta x)\log (f(x_i)\Delta x) HΔx(X)=−i=−∞∑∞f(xiΔx)log(f(xi)Δx)
- 定义微分熵的目的：微分熵差具有信息度量的意义、连续信源的微分熵与离散信源的熵在形式上统一。
6.2 连续随机变量的AEP
-
定理 6.2.1 设 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn是概率密度函数为 p ( x ) p(x) p(x)的i.i.d随机序列，那么下面的极限依概率收敛 − 1 n log p ( X 1 , X 2 , . . . , X n ) → h ( X ) -\frac{1}{n}\log p(X_1,X_2,...,X_n)\to h(X) −n1logp(X1,X2,...,Xn)→h(X)
-
定义6.2.1（体积） 集合 A ⊂ R n A\sub R^n A⊂Rn的体积
最低0.47元/天 解锁文章
6459
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
