今天看数据挖掘建立判定树的部分，被熵折磨得很痛苦，看了这篇博客稍微懂了一些，数学不好还是码农的孩纸桑不起啊！文章转载自
chl033http://blog.csdn.net/chl033/article/details/4795154
熵（ectropy）指的是体系的混乱程度，是体系的转台函数，其值与达到状态的过程无关（所以才可以用来预测啊），下面是正经的了
【概率与信息】
本文介绍了熵的基本概念，作为衡量体系混乱程度的指标，在数据分析中有着广泛应用。讨论了概率与信息的关系，指出事件发生的概率越小，带来的信息量越大。同时，阐述了独立事件信息量的叠加原理，并通过严格减函数引理推导出信息量的表示。最后，定义了完备事件组的熵，并证明了当所有事件概率相等时熵达到最大，即不确定性最大。
最低0.47元/天 解锁文章
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
