信息的度量

比如写论文时搜索资料，从一个大方向逐步细化为明确的研究再到具体的原理、数学公式等，这个过程就是不确定性的降低。一开始需要阅览大量相关论文，明确后就变成了对某个具体的知识内容的精确搜索，信息量也在降低。因此“信息量就等于不确定性的多少。”
对已知的的信息进行排序分组能有效降低不确定性，即信息量。
用H表示信息熵，X表示任一随机变量，则

H(X)=-∑x∈X  P(x) log2 P(x)

据常识,信息(I)一般要大于不确定性(U)才能消除不确定性(U),当I<U时,一部分的不确定性会被消除,同时也可能引发新的不确定性(U’ = U - I).
在应用时,要尽可能挖掘隐含的信息,减小不确定性.
数学原理是假设X,Y是两个信息条件,则
P(X) ≥ P(X | Y)

本文为个人对《数学之美》p59-64的理解。