信息论

基本概念

如果X是一个离散随机变量,取值空间为R, 其概率分布为p(x)=p(X=x),xR,那么X的熵H(x)定义为

H(x)=p(x)log2p(x)

其中约定0log0=0,对数以2为底的熵的单位为二进制位比特。

联合熵

如果X,Y是一对随机变量,X,Y ~ p(x,y), X,Y的联合熵H(X, Y)定义为:

H(X,Y)=xXyYp(x,y)logp(x,y)

在给定随机变量X的情况下, Y的条件熵H(Y|X)定义为:

H(Y|X)=xXp(x)H(Y|X=x)=xXp(x)[yYP(y|x)logp(y|x)]=xXyYp(x,y)logp(y|x)

互信息

根据熵的连锁规则,有

H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)

因此,

H(X)H(X|Y)=H(Y)H(Y|X)

这个差被称为互信息。记做I(X,Y), 它反应了在知道了Y之后,X的不确定性的减少量。展开之后,我们可以得到:

I(X,Y)=x,yp(x,y)logp(x,y)p(x)p(y)

©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值