熵

最新推荐文章于 2023-07-05 09:24:10 发布

baidu_28647713

最新推荐文章于 2023-07-05 09:24:10 发布

阅读量343

点赞数

如果随机变量X的概率密度函数为p(x)，那么X的熵定义为

$H(X)=-\sum_{x}p(x)log_{2}p(x)$

随机变量X的熵为表示这个随机变量所需要的平均比特数的一个下界。

对于服从联合分布为 p(x,y) 的一对离散随机变量 (X,Y) ，其联合熵定义为

$H(X,Y)=-\sum_{x\in \mathcal{X}}\sum_{y\in \mathcal{Y}}p(x,y)logp(x,y)$

设X和Y是两个随机变量，由另一个随机变量导致的原随机变量不确定度的缩减量称为互信息。

$I(X;Y) = H(X)-H(X|Y) = \sum_{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}$

当X和Y相互独立时

p(x,y)=p(x)p(y)

因此 I(X;Y)=0

互信息实际上是相对熵 $D(p\left | \right |q)$ 的特殊特殊情形。相对熵是两个概率密度函数p和q之间的“距离”度量，定义为

$D(p||q) = \sum_{x}p(x)log\frac{p(x)}{q(x)}$

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。