机器学习系列（1）——决策树的简单总结

本文主要是对决策树的概念性的归纳和总结。

0x01、决策树的基本概念

决策树是一种由结点和有向边组成的层次结构。树中包含三种结点：根结点、内部结点和叶结点。

决策树通常采用贪心策略，在选择划分数据的属性时，采取局部最优来构造决策树。

1.1 Hunt算法

Hunt算法是ID3、C4.5和CART等决策树算法的基础。

在Hunt算法中，通过将训练记录相继划分成较纯的子集，以递归方式建立决策树。设 $D_t$ 是与结点 $t$ 相关联的训练记录集，而 y = { y 1 , y 2 , . . . , y c } y=\{y_{1}, y_{2}, ..., y_{c}\} y={ y1​,y