最大熵阈值分割法

（1）什么是熵？

熵是用来衡量一个分布的均匀程度，熵越大，说明分布越均匀。

在信息论中，信息熵可以说明消息的混沌程度，熵越大说明消息越不明了，难以从消息中得到有效信息。举一个超级简单的例子，假设一辆车开到了一个T字型的路口，限定它必须要么左转，要么右转，设左转的概率是P1，右转的概率是P2，除此之外没有任何信息了，问如何估计P1和P2？你现在有的信息仅仅是P1+P2=1而已，按最大熵的思想，既然你没有其他任何信息来说明向左转的可能性比向右转的可能性大（或小），那就应该把它们两一视同仁，同等对待，不能偏袒其一，于是应该 P1=P2=1/2，这就是最大熵的思想。仔细想想还是挺有道理的，假设你觉得这样不是最合适的解，你给出了另一个解P1=3/4，P2=1/4那就要问了，凭什么往左转的概率比往右转的大呢？已经没有任何信息再支持你的判断了呀。因此，只能把它们两同等对待了。事实上，P1=P2=1/2这个分布的熵比这个P1=3/4，P2=1/4分布的熵要大，因为前者比后者均匀，越均匀熵越大，就越是同等对待（均匀的意思就是大家都一样）。

（2）熵的定义