《数学之美》信息熵

1.信息熵：如果没有信息，任何公式或者数字的游戏都无法排除不确定性。这个朴素的结论非常重要。合理利用信息，而不是玩弄什么公式和机器学习算法，是做好搜索的关键。

2.条件熵：统计语言模型中，二元模型的不确定性小于一元模型。

3.互信息：两个随机事件“相关性”的量化度量。就是在了解了其中一个Y的前提下，对消除另一个X不确定性所提供的信息量。

4.相对熵：用来衡量两个取值为正数的函数的相似性。