信息熵

信息论

信息论的目的是对一个信号包含的信息的多少进行量化。1948年香农发表论文 A Mathematical Theory of Communication,其中采用了概率论的方法来研究通信中的问题,并对信息进行了定量描述,第一次提出信息熵的概念

信息量

信息量是对信息的量化。出发点是一个不太可能发生的消息比一个很可能会发生的消息提供了更多的信息。比如“明天早上太阳会升起”是一个确定会发生的事情, 它提供的信息很少,相当于一句废话;而“明天早上会发生日食”这句话则不太可能发生,但它包含了很多的信息量。所以信息量与发生的概率一定是一个递减的关系(概率大则信息量少,概率小则信息量大)。如此定义信息量:
\[ I(x) = -log_2{p} \]

不一定以2为底,有的人以10为底,或以 e 为底

信息熵

信源含有的信息量是信源发出的所有可能消息的平均不确定性,即包含的信息量的平均统计值。信息论创始人香农把信源包含的信息量称为信息熵(Entropy)。假设信息D包含m种可能的事件,则信息熵为:
\[ H(D) = - \sum_{i=1}^m{p_i log_2{p_i}} \]

信息熵的单位为 bit

转载于:https://www.cnblogs.com/minding/p/11537564.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值