机器学习6:决策树算法概述
本文参考了周志华老师的《机器学习》一书,以及相关博客【机器学习实战(三)——决策树】。
(1)决策树算法简介:
决策树是一种基本的分类与回归方法,在分类问题中表示基于特征对实例进行分类的过程;
决策树学习的目标是根据给定的训练集构建一个决策树模型,使它能够对实例进行正确的分类;
决策树的构建通常有三个步骤:特征选择、决策树生成和决策树修剪。
(2)决策树的算法基础:
①信息熵:
信息熵是度量样本集合纯度最常用的指标,假定当前样本集合D中第k类样本所占的比例为,则D的信息熵定义为:
的值越小,则表示D的纯度越高。
②信息增益:
划分数据集的大原则是:将无序数据变得更加有序,在划分前后信息发生的变化称为信息增益,获得信息增益最高的特征就是最好的选择。
假设离散属性a有V个可能的取值,若使用a对样本D进行划分,则会产生V个分支结点,其中第V个分支结点包含了D中所有在属性a上取值为的样本,记为
;考虑到不同的分支结点所包含的样本数不同,给分支结点赋予权重|
|/|D|,则属性a划分样本集D的信息增益为:
一般而言,信息增益越大,则使用属性a进行划分所获得的“纯度提升“越大。
③ID3算法简介:
1)ID3算法的核心:
在决策树各个结点上对应信息增益准则选择特征,递归地构建决策树;
2)ID3算法具体步骤:
从根结点开始,对结点计算所有可能的特征的信息增益,选择信息增益最大的特征作为结点特征;
由该特征的不同值建立子节点,再对子节点递归地调用以上方法,构建决策树,直到所有特征的信息增益均很小或没有特征可选择为止;
递归处理得到一个决策树模型。
(3)决策树的剪枝:
①目的:
针对决策树结构过于复杂而产生的过拟合现象。
②剪枝操作简介:
从已经生成的树裁掉一些子树或叶结点,并将其根结点或父结点作为新的叶子结点,从而简化分类树的模型。
③剪枝操作的实现原理:
通过最小化决策树整体的损失函数来实现剪枝操作,决策树损失函数定义为:
其中,T:表示子树的叶子结点;
H(t):表示第t个叶子的熵,其中;
Nt:表示该叶子所含训练样例的个数;
:表示惩罚系数。
在损失函数中:
C(T)表示模型对训练数据的预测误差,即模型与训练数据的拟合程度;
参数的含义为:当
>=0时控制两者间的影响,较大的
促使较简单的树,较小的
促使较复杂的树,
=0意味着只考虑模型与训练数据的拟合程度,不考虑其复杂程度。
④剪枝的具体实现:
决策树的剪枝过程就是从叶子结点开始递归,记其结点将所有子结点回缩后的子树为Tb(分类值取类别比例最大的特征值),未回缩的子树记为Ta;
如果Ca(Ta)Ca(Tb),说明回缩后损失函数减小,则回缩这棵子树,递归至无法回缩为止;
其中公式定义的损失函数的极小化等价于正则化的极大似然估计。