关于信息量、信息熵及信道容量的一些复习和总结

信息量

定义:信息量是对事件的不确定性的度量,如果a=2,则单位为bit,当取值为其他时,另有其他单位,本质意义大致相同。当随机变量X取值为x的概率为P(x),则此时信息量为

\bold{I}=-log_a(P(x)))

理解:信息量的概念其实表征的是未知的程度,举例说明,当概率P(X=1)\rightarrow 1,即概率无限趋向于1,此时信息量将无限趋近于0,即表示几乎没有任何的未知信息,而当该变量不取1时,则概率无限趋近于0,则表明有无穷的未知信息,也就是不确定性是无穷大,即该变量几乎不可能不取1

信息熵

定义:若随机变量

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值