西瓜书之决策树

最新推荐文章于 2023-06-13 09:37:12 发布

无你想你

最新推荐文章于 2023-06-13 09:37:12 发布

阅读量1.1k

点赞数 1

分类专栏：机器学习西瓜书文章标签：决策树机器学习算法

本文链接：https://blog.csdn.net/qq_62904883/article/details/127435472

版权

机器学习西瓜书专栏收录该内容

7 篇文章 0 订阅

订阅专栏

本文介绍了决策树的基本流程，包括信息熵、信息增益、增益率和基尼指数的概念，用于属性选择。讨论了信息增益可能导致的偏向性和增益率的修正。此外，还涵盖了剪枝策略，如预剪枝和后剪枝的优缺点。对于连续值和缺失值的处理方法也进行了阐述，最后提到了多变量决策树及其轴平行的特性。

摘要由CSDN通过智能技术生成

主要学习目标

我们主要的学习目的是简单看一遍西瓜书里面的内容,尽可能的对各个模型都有一定的了解,在本节课程当中,我会给大家分享机器学习相关的的内容,我主要是在学习吴恩达老师最新的机器学习的视频,但是学完之后还是觉得较为空泛,所以在此,借机会再重新复习
在这里插入图片描述

基本流程

首先简单介绍一下决策树的作用,其主要的作用是分类,以二分类为例,会对实例是否为正例进行判断,如果是正例则分为正例,反之则为反例,可以简单理解为if-else的判断语句
决策树的目的是产生一棵泛化能力强,即处理未见示例能力强的决策树
在这里插入图片描述

划分选择

要求选择出最优的划分属性

信息增益

信息熵的定义为
$\operatorname{Ent}(D)=-\sum_{k=1}^{|\mathcal{Y}|} p_{k} \log _{2} p_{k}$
$\operatorname{Ent}(D)$ 越小,说明 $D$ 的纯度越高
信息熵表示的是不确定性可以理解为集合当中的样本的纯度
假定 $a$ 有 $V$ 个可能的取值, $D^v$ 表示的是第 $v$ 个分支结点包含了 $D$ 中所有在属性 $a$ 上取值为 $a^v$ 的样本,令 $\frac{\left|D^{v}\right|}{|D|}$ 表示占比,可以得到条件熵的概念
$\displaystyle\sum_{v=1}^{V} \frac{\left|D^{v}\right|}{|D|} \operatorname{Ent}\left(D^{v}\right)$
从而得到信息增益的概念
$\operatorname{Gain}(D, a)=\operatorname{Ent}(D)-\sum_{v=1}^{V} \frac{\left|D^{v}\right|}{|D|} \operatorname{Ent}\left(D^{v}\right)$
信息熵的作用就在于计算得到我每一个值,每一个属性的信息增益的大小然后对数据进行划分,在划分的过程当中,信息增益越大,表明选择属性 $a$ 的纯度越高,选择该属性进行划分的可能性也就越大

增益率

信息增益的准则极有可能导致计算得到的决策树不平衡,也许在训练集上可以表现较好的结果,但是在引入新的数据之后可能会存在无法进行有效预测的情况
因此,为避免信息增益准则对可取值数目较多的属性有所偏好,减少这样的行为说造成的不利影响,引入增益率的概念
$\text {Gain-ratio }(D, a)=\frac{\operatorname{Gain}(D, a)}{\operatorname{IV}(a)}$
其中
$\operatorname{IV}(a)=-\sum_{v=1}^{V} \frac{\left|D^{v}\right|}{|D|} \log _{2} \frac{\left|D^{v}\right|}{|D|}$
表示的是属性 $a$ 的固有值,属性 $a$ 越多,那么 $\operatorname{IV}(a)$ 也会越大

增益率注意事项

增益率会存在对数目少的属性有所偏好,所以采用在候选划分属性中选择增益高于平均水平的属性,再选择增益率最高的

基尼指数

在基于提高纯度,对纯度进行判断的考虑,引入基尼指数的概念,对数据集 $D$ 的划分可以写成 $\begin{aligned} \operatorname{Gini}(D) &=\sum_{k=1}^{\mid \mathcal{Y |}} \sum_{k^{\prime} \neq k} p_{k} p_{k^{\prime}} \\ &=1-\sum_{k=1}^{|\mathcal{Y}|} p_{k}^{2} \end{aligned}$
$\operatorname{Gini}(D)$ 越小,说明数据集的纯度越高,基尼指数可以用于分类和回归
基尼指数的定义如下
$\text { Gini-index }(D, a)=\sum_{v=1}^{V} \frac{\left|D^{v}\right|}{|D|}\operatorname{Gini}\left(D^{v}\right)$

剪枝

简直主要使用的是预剪枝和后剪枝,剪枝是为了尽可能提高泛化性能

预剪枝

预剪枝的优点在于

可以减少训练时间的开销以及测试时间的开销
避免了过拟合
缺点则在于
本质上是根据贪心算法来禁止开支,有可能导致欠拟合的问题

后剪枝

后剪枝的优点在于

欠拟合风险小
泛化性能往往高于预剪枝
缺点在于
训练之间较长
是在训练完成之后采用自底向上的方法进行分析

连续与缺失值

连续值处理

对于连续值来说,我们采用的方法就是连续值进行离散化的方法
对 $n - 1$ 个元素选择候选划分点(对于为什么要取 $n - 1$ ,个人人为是在划分的时候采用的是对该区间值采取中值,如果取 $n$ 个则有的值不能保证取到中值,降低了数据的准确度)
$T_{a}=\left\{\frac{a^{i}+a^{i+1}}{2} \mid 1 \leqslant i \leqslant n-1\right\}$
则可以对划分点的选取得到如下的更改
$\begin{aligned} \operatorname{Gain}(D, a) &=\max _{t \in T_{a}} \operatorname{Gain}(D, a, t) \\ &=\max _{t \in T_{a}} \operatorname{Ent}(D)-\sum_{-r} \frac{\left|D_{t}^{\lambda}\right|}{|D|} \operatorname{Ent}\left(D_{t}^{\lambda}\right), \end{aligned}$
其中 $t$ 表示的是划分点

缺失值处理

对 $n$ 属性当中挑选出来的一个属性,对其所包含的数据当中,没有缺失值的数据提取出来计算其信息熵以及对应的信息增益
$\begin{aligned} \rho &=\frac{\sum_{\boldsymbol{x} \in \tilde{D}} w_{\boldsymbol{x}}}{\sum_{\boldsymbol{x} \in D} w_{\boldsymbol{x}}}, \\ \tilde{p}_{k} &=\frac{\sum_{\boldsymbol{x} \in \tilde{D}_{k}} w_{\boldsymbol{x}}}{\sum_{\boldsymbol{x} \in \tilde{D}} w_{\boldsymbol{x}}} \quad(1 \leqslant k \leqslant|\mathcal{Y}|) \\ \tilde{r}_{v} &=\frac{\sum_{\boldsymbol{x} \in \tilde{D}^{v}} w_{\boldsymbol{x}}}{\sum_{\boldsymbol{x} \in \tilde{D}} w_{\boldsymbol{x}}} \quad(1 \leqslant v \leqslant V) . \end{aligned}$
对信息增益的计算式进行推广
$\begin{aligned} \operatorname{Gain}(D, a) &=\rho \times \operatorname{Gain}(\tilde{D}, a) \\ &=\rho \times\left(\operatorname{Ent}(\tilde{D})-\sum_{v=1}^{V} \tilde{r}_{v} \operatorname{Ent}\left(\tilde{D}^{v}\right)\right) \end{aligned}$