决策树准确率低原因_百面机器学习笔记 | 第三章：经典算法：决策树

决策树，是一种自上而下，对样本数据进行树形分类的过程。

分类过程：由结点和有向边组成。结点分为内部结点和叶结点，其中每一个内部结点表示一个特征或属性，叶结点表示类别。从顶部根结点开始，所有样本聚在一起。经过根结点的划分，样本被分到不同的子结点中，再根据子结点的特征进一步划分，直至所有样本都被归为某一个类别（叶结点）中。

决策树被广泛地应用于分类和回归问题，是一种基础的有监督学习模型。在市场营销、生物医药等领域尤其受欢迎。这是因为树形结构与销售、诊断等场景下的决策过程十分相似。将决策树应用集成学习的思想可以得到随机森林、梯度提升决策树（GBDT）等模型。

它具有简单直观、解释性强等特点。

一般而言，决策树的生成包含了三个过程：特征选择、树的构造、树的剪枝三个过程。

---

决策树有哪些常用的启发函数？

决策树的目标是从一组样本数据中，根据不同的特征和属性，建立一棵树形的分类结构。

我们既希望它能你和训练数据，达到良好的分类效果，同时又希望控制其复杂度，使得模型具有一定的泛化能力。

从若干不同的决策树中选取最优的决策树是一个NP问题，在实际中我们通常会采用启发式学习的方法去构建一棵满足启发式条件的决策树。

常见的决策树算法有ID3、C4.5、CART，它们构建树所使用的启发式函数各是什么？除了构建准则之外，它们之间的区别与联系是什么？

分析：首先，回顾一下这几种决策树构造时的使用的准则。

[1] ID3 最大信息增益

对于样本集合D，类别数为K，数据集D的经验熵表示为：

其中，

是样本集合D中属于第 k 类的样本子集，

表示该子集的元素个数，|D| 表示样本集合的元素个数。

然后，计算某个特征A对于集合D的经验条件熵H(D|A)为

其中，