信息熵和互信息

信息熵

为什么会有信息熵这个概念?

因为当在一堆很有规律的数据中怎么预测未来可能出现的数据的信息呢?(注意是预测)
就出现信息熵了,用它来预测未来数据的确定性的大小(也可以说用它来测量一个随机变量包含的信息的多少)
比如下例:
在这里插入图片描述
但是,当数据越混乱,数据的信息熵就越大,也就是第九条数据能被确定的概率越小,就说明次数据的信息熵越大,反之亦然。
也就是数据的信息熵跟它的确定性成反比。

规律

在这里插入图片描述

计算方法

在这里插入图片描述
如下例:
在这里插入图片描述

互信息

互信息(mutual information,MI)度量了两个变量之间互相依赖的程度。通俗的说,就是在获得一份随机变量的信息之后,观察另一个随机变量所获得的“信息量”(通常单位是比特)。
计算方式:
还是以上述案例为例:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值