最常见核心的决策树算法—ID3、C4.5、CART（非常详细）

点击上方“Datawhale”，选择“星标”公众号

第一时间获取价值内容

决策树是一个非常常见并且优秀的机器学习算法，它易于理解、可解释性强，其可作为分类算法，也可用于回归模型。 本文将分三篇介绍决策树，第一篇介绍基本树（包括 ID3、C4.5、CART），第二篇介绍 Random Forest、Adaboost、GBDT，第三篇介绍 Xgboost 和 LightGBM。

对于基本树我将大致从以下四个方面介绍每一个算法： 思想、划分标准、剪枝策略，优缺点。

ID3

ID3 算法是建立在奥卡姆剃刀（用较少的东西，同样可以做好事情）的基础上： 越是小型的决策树越优于大的决策树。

1.1 思想

从信息论的知识中我们知道： 期望信息越小，信息熵越大，从而样本纯度越低。 ID3 算法的核心思想就是以信息增益来度量特征选择，选择信息增益最大的特征进行分裂。 算法采用自顶向下的贪婪搜索遍历可能的决策树空间（C4.5 也是贪婪搜索）。

其大致步骤为：

1. 初始化特征集合和数据集合；
2. 计算数据集合信息熵和所有特征的条件熵，选择信息增益最大的特征作为当前决策节点；
3. 更新数据集合和特征集合（删除上一步使用的特征，并按照特征值来划分不同分支的数据集合）；
4. 重复 2，3 两步，若子集值包含单一特征，则为分支叶子节点。

1.2 划分标准

ID3 使用的分类标准是信息增益，它表示得知特征 A 的信息而使得样本集合不确定性减少的程度。

数据集的信息熵：

其中  表示集合 D 中属于第 k 类样本的样本子集。

针对某个特征 A，对于数据集 D 的条件熵 H(D|A) 为：

其中  表示 D 中特征 A 取第 i 个值的样本子集， 表示  中属于第 k 类的样本子集。

信息增益 = 信息熵 - 条件熵：

信息增益越大表示使用特征 A 来划分所获得的“纯度提升越大”。

1.3 缺点

• ID3 没有剪枝策略，容易过拟合；
• 信息增益准则对可取值数目较多的特征有所偏好，类似“编号”的特征其信息增益接近于 1；
• 只能用于处理离散分布的特征；
• 没有考虑缺失值。