决策树（ID3)——用信息增益来划分

对于刚刚开始学习决策树的同学们来说，可能对建立一个决策树有一些疑惑，这篇文章主要是简略的介绍用信息增益来建立一个决策树的简单过程。

文章可能会有一些错误，欢迎大家讨论学习。

1.信息熵

在了解信息增益前，我们必须要清楚信息熵。信息熵的公式        

yes	50
no	60

 

这个分类的信息熵：Info(D)=  

2.信息增益

用书上的话来说，就是划分之前的信息熵减去划分之后的信息熵。