机器学习之监督学习-分类模型决策树的基本概念

机器学习之监督学习-分类模型决策树的基本概念

决策树是一种简单高效且具有强解释性的模型，广泛应用于数据分析领域，其本质是一棵自上而下的由多个判断节点组成的树。

我们看看如下图的两棵决策树，第一棵是相亲的决策树，叶子节点是决策结果，结果分为两类，即“见”或者“不见”。第二个决策树是动物分类的决策树，第二个决策树不是二分，而是多分，但是仍是多个离散值，属于分类问题。

下面我们看一张统计表，从表中我们可以看到对应日期时候小明是否去打球了，但是我们能总结预测出什么情况下小明会去打球吗，从表中我们好像并不太能看出。

下面我们把表格转换成决策树，我们会发现，阴天的时候，小明会去打球，若是晴天，当湿度正常的时候小明会去打球，若是雨天，当风弱的时候，小明会去打球。

决策树可以看作是一个if-then规则的集合，由决策树的根节点到叶节点的每一条路径构建一条规则，路径上内部节点的特征对应着规则的条件，叶节点对应规则的结论。
决策树的if-then规则有个重要的性质：互斥并且完备，也就是说每个实例都被一条规则所覆盖，并且仅被一条规则所覆盖 。

决策树的目标：决策树的本质是从训练集归纳出一组if-then分类规则，与训练集不相互矛盾的决策树可能有多个，也可能一个都没有，因此我们需要寻找一个与训练集矛盾最小的决策树，从另一角度，我们也可以将将决策树看成一个条件概率模型，我们的目标是将实例分配到条件概率更大的那一类中去。

从所有的情况中选择最优决策树，是一个NP完全问题，我们通常采用启发式算法求解决策树，得到一个次最优解。我们使用的算法是一个递归执行以下的过程：选择最优特征，并根据该特征对训练数据进行分割，使得各个子数据集都有一个最好的分类。

常用的决策树生成算法有ID3，C4.5，CART

本篇博文仅对决策树进行简单的介绍，如果想对决策树深入学习，下面推荐一篇博客：

戳这里，进一步学习决策树