信息量特点:就是排除可能越多,信息量就越大

几种正确的理解:

1.信息是排除不确定性的,等可能事件排除可能越多,信息量就越大

例如:明天天气假定是:【晴、阴、雨、雪】4种状态

你说明天是晴天,你排除了3种状态【阴、雨、雪】信息量为A

你说明天是坏天气,你排除了【晴】信息量为B

信息量A>信息量B

2.信息量也可以理解为正确信息的价值(近似),越是能预测小概率时间的信息价值越高,信息量就越大,对别人价值就越高。例如预测到了彩票,这个正确信息价值就高。如果你预测太阳每天东边升,大家都知道,价值低,概率大。

3.信息量越大,概率越小。理解:确认小概率事件需要的信息多。就是你的信息让小概率事件的概率变大。小概率事件--->让他100%发生需要的信息量就是该事件的信息量。

4.信息量\neq数据量,但是特定环境:信息量=表达信息的数据量

当一个系统,保证信息传递数据量总体最小,也就是数据长度的期望最小,这时信息量=数据量

例如【、阴、雨、雪】 概率为【1/2,1/4,1/8,1/8】

这时候为了保证传递数据量最小,应该进行编码,晴天可能性最大,传递的次数可能最多,因此数据编码最短为1比特,因此【 、阴、雨、雪】依次为【1,2,3,3】编码可以是【 0,10,110,111】

信息量=表达信息的数据量=log(1/p)  (以2为底的对数)

可以理解为概率越大的编码越小,信息量越少

5.同一件事,必须环节越多,包含信息量越大。

几种错误理解:

1.信息量就是数据的长度。  错误!

2.信息越多,事件本身概率越大。错误!事件的信息量,是让它确认需要的信息

确认事件A发生的信息量:=ln(1/p)     p为该事件A发生的概率

熵是信息的期望。

  • 3
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值