吃瓜教程 | Datawhale-2021.10打卡（Task03）

最新推荐文章于 2024-11-11 21:52:21 发布

喝茶用勺子

最新推荐文章于 2024-11-11 21:52:21 发布

阅读量245

点赞数 2

分类专栏：吃瓜教程2021.10打卡文章标签：决策树机器学习人工智能

本文链接：https://blog.csdn.net/weixin_43530769/article/details/120872181

版权

吃瓜教程2021.10打卡专栏收录该内容

5 篇文章 0 订阅

订阅专栏

本文详细介绍了决策树的学习流程，包括基本步骤和停止条件。重点讨论了决策树划分选择中的信息熵、信息增益、增益率和基尼指数等关键概念，这些都是评估数据集纯度和选择最佳属性划分的标准。信息增益倾向于选择具有更多值的属性，而增益率和基尼指数则是为了克服这一倾向。通过对这些概念的理解，可以更好地构建和优化决策树模型。

摘要由CSDN通过智能技术生成

第4章决策树

4.1 基本流程

决策树（Decision Tree）是一类常见的机器学习方法，可通过方法对样本进行分类与回归任务。以二分类任务为例，决策树是基于数结构进行决策的。

决策树学习的目的是为了得到一棵泛化能力强，即处理未见示例能力强的决策树，决策树学习的算法流程如下图所示：

在这里插入图片描述
决策树的生成是一个递归过程，在决策树的基本算法中，有以下三种情形会导致递归返回：

当前节点包含的样本全属于同一类别，无需划分；
当前属性集为空，或是所有样本在所有属性上取值相同，无法划分；
当前结点包含的样本集合为空，不能划分。

决策树算法的核心是对样本属性进行划分，使得决策树的分支结点所包含的样本尽可能属于同一类别，即样本的“纯度”（purity）越来越高。

决策树算法通常有三个步骤：特征的选择、决策树的生成、决策树的修剪（对付过拟合问题）。
常见的决策树算法如下图所示：

在这里插入图片描述

建立线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，线性模型如下：

$\begin{aligned} f(\bm{x}) &= \omega_{1}x_{1} + \omega_{2}x_{2}+ \cdots +\omega_{d}x_{d} + b\\ &=\bm{\omega}^{\rm{T}}\bm{x}+b \end{aligned} \tag{3.1}$

其中 $\bm{x}=(x_{1};x_{2};\cdots;x_{d})$ ， $x_{i}$ 是样本 $\bm{x}$ 在第 $i$ 个属性上的取值， $\bm{\omega}=(\omega_{1};\omega_{2};\cdots;\omega_{d})$ 为权重值， $b$ 为偏置项，偏置项 $b$ 增加了模型的自由度。通过上述线性模型，可以通过一些策略和算法来拟合一些数据。

4.2 划分选择

4.2.1 信息增益

信息熵（information entropy）是度量样本集合纯度常用的一种指标，信息熵的大小反映随机变量的不确定性程度（也反映随机变量所包含信息的多少），信息熵越小，随机变量的不确定性程度就越小，样本集合的纯度就越高。假定样本集合 $D$ 中第 $k$ 类样本所占的比例为 $p_{k}(k=1,2,\dots, \vert{y}\vert)$ ，则 $D$ 的信息熵定义如下：

$\begin{aligned} Ent(D)=-\sum\limits_{k=1}^{\vert{y}\vert)}p_{k}\rm{log}_{2}\it{p_{k}} \end{aligned} \tag{4.1}$

信息增益：表示已知一个随机变量的信息后，使得另一个随机变量的不确定性减少的程度。一般而言，信息增益越大，表示一个随机变量使得另一个随机变量的不确定性减少的程度越大，也就意味着样本的纯度越高。

离散属性 $a$ 有 $V$ 个可能的取值 $\{a^{1},a^{2},\dots,a^{V}\}$ ， $D^{v}$ 表示第 $v$ 个分支结点包含了 $D$ 中所有在属性 $a$ 上取值为 $a^{v}$ 的样本，给分支结点赋予权重 $\vert D^{v} \vert/\vert D \vert$ ，即样本数越多的分支结点的影响越大，属性 $a$ 对样本集 $D$ 进行划分所获得的“信息增益”如下：

$\begin{aligned} Gain(D,a)=Ent(D)-\sum\limits_{v=1}^{\vert{V}\vert}\frac{\vert{D^{v}}\vert}{\vert{D}\vert}{Ent(D^{v})} \end{aligned} \tag{4.2}$

增益率

增益率可以减少算法对于取值数目较多的偏好带来的不利影响，增益率定义为：

$\begin{aligned} Gain\_ratio(D,a)=\frac{Gain(D,a)}{IV(a)} \end{aligned} \tag{4.3}$

$\begin{aligned} IV(a)=-\sum\limits_{v=1}^{\vert{V}\vert}\frac{\vert{D^{v}}\vert}{\vert{D}\vert}\rm{log}_{2}\it{\frac{\vert{D^{v}}\vert}{\vert{D}\vert}} \end{aligned} \tag{4.4}$

4.2.3 基尼指数

数据集 $D$ 的纯度可用基尼值来度量，基尼值越小，数据集 $D$ 的纯度越高：
$\begin{aligned} Gini(D)&=\sum\limits_{k=1}^{\vert{y}\vert}\sum\limits_{{k}\prime\neq1}p_{k}p_{k\prime}\\ &=1-\sum\limits_{k=1}^{\vert y \vert}p_{k}^{2} \end{aligned} \tag{4.5}$