某件事的信息量计算公式 (p为这件事概率)
为了计算出整数,假定 1-8个编号球,从8个球中摸出一个。m1表示摸出1号球,m2表示摸出2号......
例如:
1)我告诉你"摸出了7号球",实际上我告诉你了最大有效信息。
信息量为 : ,3是最大信息量,它让你确定了摸出的结果。
2)如果我告诉你"摸出了1到4号球”,实际上你没有得到准确的信息。
信息量为:
3)如果我告诉你"摸出了球,可能是1到8”,实际上你没有得有效的信息。
信息量为:
也可以这么理解,假定我发送的都是有效信息。
我编码 000,001,010,011,100,101,110,111 (8个)分别表示摸到第一个球m1、摸到第二个m2...
我发给你3个bit,010,你得到了确定的信息摸到了第3个,信息量最大为3。
我发给你1个bit,1 ,完了,你只能知道{m5,m6,m7,m8}中的一种可能,信息量为1。
我不发信息,你完全没得到有效信息,信息量为0。
总结1,信息量可以理解为,你得到的数据量,让一个随机事件概率变大,当随机事件概率变为1,这样有效数据量就最大了。
总结2,把所有等可能事件编号,这样都是有效数据,确定一个随机事件的信息量,等于你发送数据的多少。(只能发送编号编码)
熵 是信息量的期望。