信息论，留着以后看

关于问题，可能的答案越多越好，可以减少的空间复杂度；每个答案出现的概率越平均越好，这种策略的本质可以概括成“让未知世界无机可乘”。它是没有“弱点的”，答案的任何一个分支都是等概率的。

原帖地址:http://blog.csdn.net/pongba/article/details/2544933

这可以用到很多地方，猜数字，称球，排序等。

生活中其他的地方运用的时候可能需要小心一点，预测可能的答案是相对容易的，预测可能的概率就比较难，有些时候问题本身可能会影响到答案。在应答者本身不确定的时候，你提出的问题可能产生错误的引导。

下面是一些大牛的关于信息论的讨论，略强！苦海无边，何处是岸！

最大熵理论的本质就是对一个事物的概率分布做估计时除了已知的先验知识外不做任何的假设。通过最大熵计算出来的概率满足这个条件。如果数据没有其它先验知识的话，最大熵就是假设数据是完全随机的。如果有先验知识的话，除了先验知识的这部分其它的都是完全随机的。
至于为什么最大熵那个公式能达到这个效果，我也解释不清。如果要更深入的话，也许你得拿本信息论的书看看：）不过我个人感觉，信息论其实在很多方面和概率论是统一的，只是描述事物的角度不同，有些地方从信息论这个角度看更易理解，有些从概率论角度更易理解。

你所提出的用’平均分布‘来做分球问题其实是原文理论模型的一个简化。
举例来说，对于猜数字问题，在没有任何先验知识的情况下，假设所有数字的概率是相同的（即平均分布）当然可以得出最优算法。
现在我们加一个条件，假设数字1出现的概率是1/10,那么在这个前提下同样可以建设除1以外的所有数字的概率是相同的，这时候也能得出最优结论。
但是如果先验的条件再复杂一些，例如 ‘数字2的概率是数字3的概率的2倍’，‘奇数的概率是偶数的2倍’，在这种情况下仅仅考虑平均分布就不行了，这时候就要用到信息论中的最大熵的理论才能得到最优的算法。
你的平均分布其实是在先验知识很少的情况下最大熵理论的一种简单形式。