熵
信息如何量化?
信息怎么度量, 在生活中当发生某些不可思议的事情, 往往我们会用’信息量大’, 这个词语进行描述。
那么信息量大, 这一词语在对信息量化中, 体现了哪些思路?
1. 当小概率事件发生时, 我们才会感觉’信息量大’
2. 当大概率事件发生时, 我们会感觉’理所应当’, ‘信息量小-正常操作’
已知上述信息量化度量的特点, 如何设置函数使用数学直观的表现信息量的大小?
假设事件 χ χ 是一个离散型随机变量, 其取值集合为 χ χ , 概率函数分布为 p(x)=P(χ=x),x∈χ,定义事件χ=x0的信息量为:I(x0)=−log(p(x0)) p ( x ) = P ( χ = x ) , x ∈ χ , 定 义 事 件 χ = x 0 的 信 息 量 为 : I ( x 0 ) = − log ( p ( x 0 ) )
该函数满足: 当一个事件发生的概率越大, 它所携带的信息量就越小, 反之, 当一个事件发生的概率越小, 它所携带的信息量就越小。
熵: 事件不确定性的度量
在了解信息量如何度量之后, 如何确定一个事件发生的不确定性?
例如, 已知小明及格的概率为0.2, 不及格的概率为0.8, 那么小明成绩的不确定性如何度量?
很简单, 对小明考试这一事件的两种可能性求期望, 就可以转换为信息熵
信息熵: 实质上就是对事件的不确定性程度的度量
H(D)=−∑i=1npilog