一、基础理论
决策树的主要优点是模型具有可读性,分类速度快。学习时,会利用训练数据,根据损失函数最小化的原则建立决策树模型。预测时,对新的数据,可以利用决策树模型进行分类。
- 通常包括3个步骤:特征选择、决策树的生成和决策树的修剪。
- 代表算法:
①ID3算法——Quinlan,1986;
②C4.5算法——Quinlan,1993;
③CART算法——Breiman,1984.
- 三种划分数据集的方法:
①信息增益算法(ID3);
②信息增益率(C4.5);
③基尼指数(CART)。
二、节点纯度的度量
熵用于表示随机变量不确定性的度量。假设变量S有n种情况,pi表示第i情况的概率,那么随机变量S的熵定义为:
熵取值最大,随机变量不确定性就最大。
在随机变量S给定的条件下,随机变量A的条件熵Entropy(A|S)定义为:
- 信息增益表示的是:得知特征X的信息而使得分类Y的信息的不确定性减少的程度。特征A对数据集D的信息增益表示为:
- ID3具体做法是:从根节点开始,对节点计算所有可能特征的信息增益,选择信息增益最大的特征作为节点的特征,并由该特征的不同取值构建子节点;对子节点递归地调用以上方法构建决策树,直到所有特征的信息增益均很小或者没有特征可选时为止。
- 基尼系数(CART):
CART解决过拟合的方法:预剪枝和后剪枝。
- ID3算法的缺点:①没考虑连续特征,大大限制了算法的应用场景;②没考虑缺失值情况;③没考虑过拟合情况;④相同条件下,取值较多的特征相对取值较少的特征信息增益大。
- C4.5算法对以上缺点进行了改进。