[机器学习]决策树模型

概述

决策树是一个无参、非线性、有监督的机器学习算法，它是一种基本的分类与回归方法。本文主要讨论用于分类的决策树。 决策树可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。

• 其主要优点：1. 模型具有可读性；2.分类速度快。

• 学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型；预测时，对新的数据，利用决策树模型进行分类。

• 决策树学习包括三个步骤: 特征选择、决策树的生成和决策树的修剪。

• ID3、C4.5、CART都是决策树著名的算法。

1.1 决策树模型与学习

1.1.1 决策树的基本要素

分类决策树模型是一种描述对实例进行分类的树形结构。树形结构由结点和有向边组成。

• 内部结点（圆圈）：对应数据的一个特征（属性）。
• 叶节点（方框）：对应数据的一个类别。
• 有向边：结点到结点的每一条路径构建一条规则。

1.1.2 决策树的学习方式

决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。

此方法生成的决策树可能对训练数据有很好的分类能力，但对未知数据未必有很好的拟合能力（过拟