决策树的概念

1. 什么是决策树/判定树？
决策树是一个类似于流程图的树状结构。其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每一个树叶结点代表类或类分布。树的最顶层是根结点。

2. 熵（Entropy）的概念：
抽象的“信息”该如何来度量？
1948年，香农提出了“信息熵”的概念。
一条信息的信息量大小和它的不确定性有着直接的关系。要弄清楚一件非常非常不确定的事情，或者是我们一无所知的事情，需要了解大量信息 ==> 信息量的度量就相当于不确定性的多少。

定性越大，相应的熵也就越

3. 决策树归纳算法（ID3）

1970-1980年，由 J.Ross.Quinlan 提出 ID3 算法。