文章参考:
1.信息量
一条信息的信息量大小和它的不确定性有直接的关系。可以认为,信息量的度量就等于不确定性的多少。
2.一个随机变量的分布效果可以用熵来衡量
比方说,某个事件的概率分布如下图所示:
则该事件的熵计算如下:
H(X) = -(0.7*log(0.7)+0.2*log(0.2)+0.1*log(0.1)) =
文章参考:
1.信息量
一条信息的信息量大小和它的不确定性有直接的关系。可以认为,信息量的度量就等于不确定性的多少。
2.一个随机变量的分布效果可以用熵来衡量
比方说,某个事件的概率分布如下图所示:
则该事件的熵计算如下:
H(X) = -(0.7*log(0.7)+0.2*log(0.2)+0.1*log(0.1)) =