决策树之一：熵的理解

“熵”的通俗解释

我做了两个“直观”的解释，大家请胡乱喷。

一.问怎么理解熵？

答：

（1）我只有1个媳妇，每天晚上只能翻这一个牌子，没得选，这是最确定的事件，没有任何有价值的信息量，所以熵是0；

（2）康熙爷有30个媳妇，每天晚上从30个牌子里面任意翻一个，这是最不确定的事件，信息量很混乱，所以熵是ln30；

（3）根据（2）的结论，（1）的结论可以认为是ln1：即“确定性是不确定性的特殊情况”（注：一定意义下可以这么认为而已）。

P.S.短语“确定性”怎么断句？

（4）求单身旺的心理阴影面积，提示，可以考虑“gini系数”（在决策树和随机森林中详细讨论）

二.熵就是有价值的信息么？

答：

熵，一个从“不知道”变成“知道”的差值

比如，假定你现在不知道“我和刘晓庆今天上午结婚了”，现在我告诉你这个事情，你内心的惊愕程度，不由于这个信息“我和刘晓庆今天上午结果了”带来的。所以这个惊愕就是事件“我和刘晓庆今天上午结婚了”的信息熵。