【机器学习实战】决策树

一.决策树简介

       决策树(decision tree)是一种基本的分类与回归方法。举个通俗易懂的例子，如下图所示的流程图就是一个决策树，长方形代表判断模块(decision block)，椭圆形成代表终止模块(terminating block)，表示已经得出结论，可以终止运行。从判断模块引出的左右箭头称作为分支(branch)，它可以达到另一个判断模块或者终止模块。
        决策树(decision tree)的一个重要任务就是为了理解数据中所蕴含的知识信息，因此决策树可以使用不熟悉的数据集合，并从中提取出一系列规则，这些机器根据数据集创建规则的过程，就是机器学习过程。

       决策树是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，路径上内部结点的特征对应着规则的条件，而叶结点的类对应着规则的结论；也可以认为是定义在特征空间与类空间上的条件概率分布。决策树的路径或其对应的if-then规则集合具有一个重要的性质：互斥并且完备。这就是说，每一个实例都被一条路径或一条规则所覆盖，而且只被一条路径或一条规则所覆盖。这里所覆盖是指实例的特征与路径上的特征一致或实例满足规则的条件。

决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。

适用数据类型：数值型和标称型，但树构造算法只适用于标称型数据，因此数值型数据必须离散化
优点：计算复杂度不高，输出结果易于理解，对于中间值的缺失不敏感，可以处理不相关特征数据
缺点：可能会产生过度匹配问题（过拟合，暂