[机器学习]决策树模型
概述
决策树是一个无参、非线性、有监督的机器学习算法,它是一种基本的分类与回归方法。本文主要讨论用于分类的决策树。 决策树可以认为是if-then规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。
-
其主要优点:1. 模型具有可读性;2.分类速度快。
-
学习时,利用训练数据,根据损失函数最小化的原则建立决策树模型;预测时,对新的数据,利用决策树模型进行分类。
-
决策树学习包括三个步骤: 特征选择、决策树的生成和决策树的修剪。
-
ID3、C4.5、CART都是决策树著名的算法。
1.1 决策树模型与学习
1.1.1 决策树的基本要素
分类决策树模型是一种描述对实例进行分类的树形结构。树形结构由结点和有向边组成。
- 内部结点(圆圈):对应数据的一个特征(属性)。
- 叶节点(方框):对应数据的一个类别。
- 有向边:结点到结点的每一条路径构建一条规则。
1.1.2 决策树的学习方式
决策树学习的算法通常是一个递归地选择最优特征,并根据该特征对训练数据进行分割,使得对各个子数据集有一个最好的分类的过程。
此方法生成的决策树可能对训练数据有很好的分类能力,但对未知数据未必有很好的拟合能力(过拟