几种正确的理解:
1.信息是排除不确定性的,等可能事件排除可能越多,信息量就越大
例如:明天天气假定是:【晴、阴、雨、雪】4种状态
你说明天是晴天,你排除了3种状态【阴、雨、雪】信息量为A
你说明天是坏天气,你排除了【晴】信息量为B
信息量A>信息量B
2.信息量也可以理解为正确信息的价值(近似),越是能预测小概率时间的信息价值越高,信息量就越大,对别人价值就越高。例如预测到了彩票,这个正确信息价值就高。如果你预测太阳每天东边升,大家都知道,价值低,概率大。
3.信息量越大,概率越小。理解:确认小概率事件需要的信息多。就是你的信息让小概率事件的概率变大。小概率事件--->让他100%发生需要的信息量就是该事件的信息量。
4.信息量数据量,但是特定环境:信息量=表达信息的数据量
当一个系统,保证信息传递数据量总体最小,也就是数据长度的期望最小,这时信息量=数据量
例如【晴、阴、雨、雪】 概率为【1/2,1/4,1/8,1/8】
这时候为了保证传递数据量最小,应该进行编码,晴天可能性最大,传递的次数可能最多,因此数据编码最短为1比特,因此【 晴、阴、雨、雪】依次为【1,2,3,3】编码可以是【 0,10,110,111】
信息量=表达信息的数据量=log(1/p) (以2为底的对数)
可以理解为概率越大的编码越小,信息量越少
5.同一件事,必须环节越多,包含信息量越大。
几种错误理解:
1.信息量就是数据的长度。 错误!
2.信息越多,事件本身概率越大。错误!事件的信息量,是让它确认需要的信息。
确认事件A发生的信息量:=ln(1/p) p为该事件A发生的概率
熵是信息的期望。