决策树 是表示基于特征对实例进行分类的树形结构
从给定的训练数据集中,依据特征选择的准则,递归的选择最优划分特征,并根据此特征将训练数据进行分割,使得各子数据集有一个最好的分类的过程。
决策树算法3要素:
-
- 特征选择
- 决策树生成
- 决策树剪枝
部分理解:关于决策树生成
决策树的生成过程就是 使用满足划分准则的特征不断的将数据集划分为纯度更高,不确定性更小的子集的过程。
对于当前数据集D的每一次的划分,都希望根据某特征划分之后的各个子集的纯度更高,不确定性更小。而如何度量划分数据集前后的数据集的纯度以及不确定性呢? 答案:特征选择准则,比如:信息增益,信息增益率,基尼指数特征选择准则:目的:使用某特征对数据集划分之后,各数据子集的纯度要比划分前的数据集D的纯度高(不确定性要比划分前数据集D的不确定性低。)注意:
1. 划分后的纯度为各数据子集的纯度的加和(子集占比*子集的经验熵)。
2. 度量划分前后的纯度变化 用子集的纯度之和与划分前的数据集D的纯度 进行对比。特征选择的准则就是 度量样本集合不确定性以及纯度的方法。本质相同,定义不同而已。特征选择的准则主要有以下三种:信息增益,信息增益率,基尼指数
首先介绍一下熵的概念以及理解:
熵:度量随机变量的不确定性。(纯度)
定义:假设随机变量X的可能取值有x1,x2, ... , xn
对于每一个可能的取值xi,其概率 P(X=xi) = pi , ( i = 1,2, ... , n)
因此随机变量X的熵:
![248384539cfe8b51f5303333cdcbdbf8.png](https://i-blog.csdnimg.cn/blog_migrate/d0738534fbbab543c37c6ef62d46f0f0.jpeg)
对于样本集合D来说,随机变