微分熵
h ( X ) = − ∫ f ( x ) l o g f ( x ) d x h(X)=-\int f(x)logf(x)dx h(X)=−∫f(x)logf(x)dx
支撑集
令 f ( x ) > 0 f(x)>0 f(x)>0的x集合
常见微分熵
-
[0,a]均匀分布
h ( X ) = l o g a h(X)=loga h(X)=loga
-
正态分布
h ( ϕ ) = 1 2 l o g 2 π e σ 2 h(\phi )=\frac {1}{2}log2\pi e\sigma ^{2} h(ϕ)=21log2πeσ2连续随机变量典型集
对独立同分布序列
p ( X 1 . . . . X n ) → 2 − n H ( X ) p(X_{1}....X_{n})\rightarrow 2^{-nH(X)} p(X1....Xn)→2−nH(X)
− 1 n l o g f ( X 1 . . . X n ) → h ( X ) -\frac{1}{n}logf(X_{1}...X_{n})\rightarrow h(X) −n1logf(X1...Xn)→h(X)
连续变量的典型集性质
集合体积
V
o
l
(
A
)
=
∫
A
d
x
1
.
.
.
d
x
n
Vol(A)=\int _{A}dx_{1}...dx_{n}
Vol(A)=∫Adx1...dxn
有如下性质
- 对充分大的n， P r ( A ε ( n ) ) > 1 − ε Pr(A_{\varepsilon }^{(n)})>1-\varepsilon Pr(Aε(n))>1−ε
- 对所有n， V o l ( A ε ( n ) ) ≤ 2 n ( h ( X ) + ε ) Vol(A_{\varepsilon }^{(n)})\leq 2^{n(h(X)+\varepsilon )} Vol(Aε(n))≤2n(h(X)+ε)
- 对充分大的n， V o l ( A ε ( n ) ) ≥ ( 1 − ε ) 2 n ( h ( X ) − ε ) Vol(A_{\varepsilon }^{(n)})\geq (1-\varepsilon )2^{n(h(X)-\varepsilon )} Vol(Aε(n))≥(1−ε)2n(h(X)−ε)
微分熵与离散熵的区别
若
f
(
x
)
f(x)
f(x)是黎曼可积的
H
（
X
Δ
）
+
l
o
g
Δ
→
h
(
f
)
=
h
(
X
)
,
当
Δ
→
0
H（X^{Δ}）+logΔ\rightarrow h(f)=h(X),当Δ\rightarrow0
H（XΔ）+logΔ→h(f)=h(X),当Δ→0
离散意义的熵无穷大
微分熵不具备信息度量的内涵
联合微分熵
h ( X 1 . . . X n ) = − ∫ f ( x n ) l o g f ( x n ) d x n h(X_{1}...X_{n})=-\int f(x^{n})logf(x^{n})dx^{n} h(X1...Xn)=−∫f(xn)logf(xn)dxn
条件微分熵
h ( X ∣ Y ) = − ∫ f ( x , y ) l o g f ( x ∣ y ) d x d y h(X|Y)=-\int f(x,y)logf(x|y)dxdy h(X∣Y)=−∫f(x,y)logf(x∣y)dxdy
相对熵
D ( p ∣ ∣ q ) = ∑ p ( x ) l o g p ( x ) q ( x ) D(p||q)=\sum p(x)log\frac {p(x)}{q(x)} D(p∣∣q)=∑p(x)logq(x)p(x)
联合熵
I ( X ; Y ) = ∑ ∑ p ( x , y ) l o g p ( x , y ) p ( x ) p ( y ) I(X;Y)=\sum \sum p(x,y)log\frac{p(x,y)}{p(x)p(y)} I(X;Y)=∑∑p(x,y)logp(x)p(y)p(x,y)
6331
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
