机器学习学习笔记：决策树归纳算法（ID3）

前言：

决策树是机器学习分类方法中的一个重要的算法。决策树分类一般只适用于小数据。

什么是决策树？

决策树是一个类似于流程图的树结构：其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性的输出，而每个树叶结点代表类或类结点。树的最顶层是根节点。（根节点的选取十分重要）

熵（entropy）概念：

信息熵计算是决策树中的计算环节。

1948年，香农提出了“信息熵”的概念。

一条信息的信息量大小和它的不确定性有直接的