最大熵原理-最低风险模型

       奥卡姆剃刀法则的核心是简单原则，当我们找到基函数时，而且找到了对一个事物最根本规律的认识时，我们可以得到对它最简单、最有效的描述。但是在我们寻找到基函数之前，我们需要有很多过渡性模型，用来解决当下问题。

       最大熵原理的实质就是，当我们需要对一个随机事件的概率分布进行预测时，在已知部分知识的前提下，对未知的情况不要做任何主观假设，在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模叫“最大熵模型”。我们常说，不要把所有的鸡蛋放在一个篮子里，就要保留各种可能性。

      吴军老师在一次报告时与听众做了一次骰子实验，当拿出一个正常骰子的时候，听众对骰子各个面朝上的概率一致认同是1/6。当拿出另外一个被做过手脚的骰子，其中有一面朝上的概率是2/5,对面的点数概率是0，所有人一致认同其他4个面的概率是3/20。这就是我们在做出判断时，根据全部已知条件，根据直觉预测的风险最小概率，这就是最大熵原理的基本原则。

      最大熵模型的优势是：保证结果能覆盖到当前已知可行性，不做任何主观猜测，这样的模型最光滑，不会遇到黑天鹅事件，让预测的风险最小。当我们遇到不确定性时，就要保留各种可能性，而不要随便作主观的假设。

       当我们遇到矛盾的先决条件时，最大熵模型会自动选择两个条件的中间点，保证信息的损失最小。最大熵模型在形式上是最漂亮、最完美的统计模型，在效果上也是最好、最安全的模型。