决策树

决策树的几个概念：

信息熵：表示信息的不确定程度。值越大，表示信息的不确定程度越大。

条件熵：知道了某种信息之后的不确定程度。
互信息：表示衡量信息相关性的指标。值越大，表示相关性越大。或者叫信息增益。

ID3方法就是通过寻找互信息来构建决策树的。

首先就是寻找互信息最大的那个属性作为根节点，然后一步步的构建决策树。最后的叶子节点表示预测的结果。