决策树学习

已于 2023-11-29 17:39:43 修改
阅读量900 收藏 10
点赞数 10
分类专栏： 机器学习 文章标签： 决策树 学习 算法
于 2023-11-24 16:50:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MusicDancing/article/details/134602332
版权

1. 背景

        DT决策树是一种基本的分类与回归方法，其学习时，利用训练数据，根据损失函数最小化原则建立DT模型。
        分类DT主要优点：模型具有可读性，分类速度快。

        由DT树的根结点到叶结点的每一条路径构建一条规则，即组合特征，路径上内部结点
的特征对应着规则的条件，而叶结点的类对应着规则的结论。这些路径互斥且完备。
        DT学习通常包括3个步骤：特征选择、DT的生成与DT的修剪。DT的生成只考虑局部最优，而DT的剪枝则考虑全局最优。

        DT学习是由训练数据集估计条件概率模型，其损失函数通常是正则化的极大似然函数，其策略是损失函数为目标函数的最小化。

2. 特征选择

        特征选择在于选取对训练数据具有分类能力的特征，这样可以提高DT学习的效率。通常特征选择的准则是信息增益或信息增益比。

2.1 熵

        随机变量X的熵定义为H(p)=-\sum_{1}^{n}p_{i}logp_{i}  (对数以2为底时，熵的单位叫bit；以e为底时，熵的单位叫nat)。

其中 P(X=x_{i})=p_{i}，i=1,2,...,n

熵只依赖于X的分布，与X的取值无关，且 0\leq H(p)\leq logn。

2.2 条件熵

H(Y|X)表示在已知随机变量X的条件下随机变量Y的不确定性。
即X给定条件下Y的条件概率分布的熵对X的数学期望

H(Y|X)=\sum_{i=1}^{n}p_{i}H(Y|X=x_{i})

 其中令0log0=0

 信息增益表示，得知特征X的信息而使得类Y的信息的不确定性减少的程度。


2.3 信息增益及其计算

        特征A对训练数据集D的信息增益g(D,A)，定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差(亦叫类与特征的互信息)。

（1）计算数据集D的经验熵H(D)

H(D)=-\sum_{k=1}^{K}\frac{|C_{k}|}{|D|}log_{2}\frac{|C_{k}|}{|D|}

表示对数据集D进行分类的不确定性。

（2）计算特征A对数据集D的经验条件熵H(D|A)

H(D|A)=\sum_{i=1}^{n}\frac{|D_{i}|}{|D|}H(D_{i}) =-\sum_{i=1}^{n}\frac{|D_{i}|}{|D|}\sum_{k=1}^{K}\frac{|D_{ik}|}{|D_{i}|}log_{2}\frac{|D_{ik}|}{|D_{i}|}

表示在特征A给定的条件下对数据集D进行分类的不确定性。

（3）计算信息增益

g(D,A)=H(D)-H(D|A)

表示由于特征A而使得对数据集D的分类的不确定性减少的程度。

2.4 信息增益比

        信息增益存在偏向于选择取值较多的特征的问题。使用信息增益比可以对这一问题
进行校正。
定义：信息增益g(D,A)与训练集D关于特征A的值的熵H_{A}(D)之比。

即 g_{R}(D,A)=\frac{g(D,A)}{H_{A}(D)}

其中H_{A}(D)=-\sum_{i=1}^{n}\frac{|D_{i}|}{|D|}log_{2}\frac{|D_{i}|}{|D|}，n为特征A取值的个数。

3. DT的生成

3.1 ID3算法

        ID3算法的核心是在DT各个结点上应用信息增益准则选择特征，递归地构建DT。具体方法如下：

        从根结点开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子结点；再对子结点递归地调用以上方法，构建DT；直到所有特征的信息增益均很小或没有特征可以选择为止。最后得到一个DT。

        ID3相当于用极大似然法进行概率模型的选择，但其只有树的生成，所以该算法生成的树
容易产生过拟合。

3.2 C4.5算法

        C4.5算法对ID3算法进行了改进，在生成过程中，用信息增益比来选择特征。

4. DT的剪枝

        剪枝(pruning)是将已生成的树进行简化的过程，即从已生成的树上裁掉一些子树或叶结点，
并将其根结点或父结点作为新的叶结点，从而简化分类树模型。DT的剪枝往往通过极小化DT整体的损失函数来实现。

DT学习的损失函数可以定义为：C_{\alpha }(T)=C(T)+{\alpha }|T|  （\alpha \geq 0）

其中

C(T)=\sum_{t=1}^{|T|}N_{t}H_{t}(T)=-\sum_{t=1}^{|T|}\sum_{k=1}^{K}N_{tk}log\frac{N_{tk}}{N_{t}}  表示模型对训练数据的预测误差；

H_{t}(T)=\sum_{k}\frac{N_{tk}}{N_{t}}log\frac{N_{tk}}{N_{t}}  为叶结点t上的经验熵。

|T|为树T的叶结点个数(即模型复杂度)，t是树T的叶结点，该叶结点有^{N_{t}}个样本点，其中k类样本点有N_{tk}个。

参数\alpha \geq 0 控制着预测误差与模型复杂度之间的影响，较小的\alpha 促使选择较复杂的模型。

剪枝就是当\alpha确定时，选择损失函数最小的模型(子树)。

        DT生成学习局部的模型(只考虑了通过提高信息增益对训练数据进行更好的拟合)，DT剪枝学习整体的模型(通过优化损失函数还考虑了减小模型复杂度)。

利用损失函数最小原则进行剪枝就是用正则化的极大似然估计进行模型选择。

5. CART算法

        分类与回归树CART(classification and regression tree)模型既可以用于分类也可以用于回归(其假设DT是二叉树)。

5.1 CART生成

        基于训练数据集生成DT，生成的DT要尽量大；

        DT的生成就是递归地构建二叉DT的过程，对回归树用平方误差最小化准则，对分类树用基尼指数最小化准则，进行特征选择，生成二叉树。

5.1.1 回归树的生成

        可以用平方误差来表示回归树对于训练数据的预测误差。

5.1.2 分类树的生成

        分类树用基尼指数选择最优特征，同时决定该特征的最优二值切分点（选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点）。

样本集合D的基尼指数 Gini(D)=1-\sum_{k=1}^{K}\left ( \frac{|C_{k}|}{|D|} \right )^{2}

特征A条件下集合D的基尼指数 Gini(D,A)=\frac{|D_{i}|}{|D|}Gini(D_{1})+\frac{|D_{2}|}{|D|}Gini(D_{2})


        基尼指数Gini(D)表示集合D的不确定性，基尼指数Gini(D,A)表示经A=a分割后集合D的不确定性。基尼指数与熵相似，其值越大，样本集合的不确定性也就越大。


 

5.2 CART剪枝

        用验证数据集对已生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准。CART剪枝算法从“完全生长”的DT的底端剪去一些子树，使DT变得简单，从而能够对未知数据有更准确的预测。

step.1 剪枝，形成一个子树序列；
step.2 在剪枝得到子树序列中通过交叉验证选取最优子树。

MusicDancing
关注
专栏目录
决策树学习总结
三寸落木
10-29 2386
决策树总结 【写在最前面】 emmmm，课堂笔记的一个总结吧算是。 有任何问题请评论，求轻喷。 决策树是是分类问题中最常用的模型之一，它的优势在于：   ①能够接受类别型的特征，   ②分类效果与其他分类算法相当，   ③训练和测试的效率高。 决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。决策树学习通常包括三个步骤：特征选择、决策树的生成和决策树的修剪。决策树学习常用的算法...
决策树学习心得
weixin_56501618的博客
09-05 1679
决策树是一种解决分类问题的方法。它是一种树形结构，本质是一颗由多个节点组成的树，其中每一个内部节点表示一个属性上的判断，每一个分支代表一个判断结果的输出，每一个叶节点代表一种分类结果。 熵的概念： 熵表示物体内部的混乱程度，决策树中熵的计算公式： ​​​ (这里是log以2 为底的)熵值越高，数据不确定性越高 若只有两类则上公式变形为： 信息增益 ： 表示由于（选择）数据集的某一特征而使得对数据D的分类不确定性（熵）减少的程度。 公...
决策树学习整理
weixin_65603406的博客
05-31 1731
决策树可以视为一个if-then规则的集合。决策树的路径（即if-then规则的集合）具有一个重要的性质：互斥且完备，即，每个实例有且只有一条规则能够覆盖。决策树学习的损失函数通常是正则化的极大似然函数（？），目标是最小化损失函数。从所有可能的决策树中选取最优决策树是NP完全问题），现实中决策树的学习算法通常采用启发式方法（根据经验，可能得到的不是最好的结果），近似求解这个最优化问题，这样得到的决策树是次最优的。决策树递归地选择最优特征，根据该特征分割训练数据。
决策树学习算法
小猪打呼噜
04-27 1922
一、介绍 决策树是一种常见的机器学习方法。决策树顾名思义就是基于树结构来进行决策的，这恰是人类面临决策问题时一种很自然最常见的处理机制。例如：我们去超市买瓜，如何判断这个瓜是否是好瓜？面对这样一个问题，我们通常会进行一系列的判断，比如我们先看“它纹路是否清楚？”，如果“清楚”，我们再看“它的根蒂是什么形态？”，如果是“蜷缩”，我们再判断"它敲击起来是什么声音？"，如果声音“浊响”，最后我们做出决
【机器学习实战】3、决策树
热门推荐
呆呆的猫的博客
03-13 36万+
(声明：本文内容来自机器学习实战和统计学习方法，是两者的整合，并非来自单个书籍）决策树（decision tree）：是一种基本的分类与回归方法，此处主要讨论分类的决策树。在分类问题中，表示基于特征对实例进行分类的过程，可以认为是if-then的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。决策树通常有三个步骤：特征选择、决策树的生成、决策树的修剪。用决策树分类：从根节点开始，对实例的某一特征进行测试，根据测试结果将实例分配到其子节点，此时每个子节点对应着该特征的一个取值，如此递归的对实例进行测
ID3决策树学习算法——python实现
MYuan0209的博客
10-08 3426
本周“人工智能理论与实践”课程老师要求复现决策树算法，本人复现思路参考周志华老师的《机器学习》书中的决策树学习基本算法，数据集使用的是书中“西瓜数据集2.0”。这是本人的第一篇博客，如有问题还请大家多多指正。完整代码及训练数据已上传至Github。
机器学习 | 决策树
happylls666的博客
12-23 1704
决策树小结
机器学习基础 决策树算法
mengxianglong123的博客
05-30 4894
文章目录一、决策树算法简介二、决策树分类原理1. 熵1.1 概念1.2 案例2. 决策树的划分依据一----信息增益2.1 概念2.2 案例3. 决策树的划分依据二----信息增益率3.1 概念3.2 案例3.2.1 案例一3.2.2 案例二3.3 为什么使用C4.5要好4. 决策树的划分依据三 ----基尼值和基尼指数4.1 概念4.2 案例5. 小结5.1 常见决策树的启发函数比较5.1.1 ID3 算法5.1.2 C4.5算法5.1.3 CART算法5.1.4 多变量决策树(multi-variate
决策树学习.zip
04-25
在机器学习中，决策树是一个预测模型，代表的是对象属性与对象值之间的一种映射关系。 决策树的应用场景非常广泛，包括但不限于以下几个方面： 金融风险评估：决策树可以用于预测客户借款违约概率，帮助银行更好地...
决策树学习笔记.zip
04-25
在机器学习中，决策树是一个预测模型，代表的是对象属性与对象值之间的一种映射关系。 决策树的应用场景非常广泛，包括但不限于以下几个方面： 金融风险评估：决策树可以用于预测客户借款违约概率，帮助银行更好地...
机器学习决策树学习PPT
最新发布
06-11
如果有侵权行为，联系作业删除
决策树学习相关代码.zip
04-25
在机器学习中，决策树是一个预测模型，代表的是对象属性与对象值之间的一种映射关系。 决策树的应用场景非常广泛，包括但不限于以下几个方面： 金融风险评估：决策树可以用于预测客户借款违约概率，帮助银行更好地...
逻辑回归LR模型简介
MusicDancing的博客
08-04 6359
4. LR与线性回归的区别 1. 都是广义的线性回归，但LR可用于分类，在feature到结果的映射中加入了sigmoid()，实现了非线性。 2. 损失函数: 线性回归 --> 平方损失函数； LR --> 似然函数 3. 预测范围： 线性回归 --> 整个实数域（敏感度一致）； LR --> [0,1] ...
贝叶斯优化BayesianOptimization
MusicDancing的博客
05-19 5491
神经网络有很多超参数(学习率，正则等等)。如何寻找最好的超参数组合，穷举搜索 Grid Search 效率太低；随机搜索比穷举搜索好一点；目前比较好的解决方案是贝叶斯优化。1.贝叶斯优化的优点 贝叶斯调参采用高斯过程，考虑之前的参数信息，不断地更新先验；网格搜索未考虑之前的参数信息； 贝叶斯调参迭代次数少，速度快；网格搜索速度慢,参数多时易导致维度爆炸； 贝叶斯调参针对非凸问题依然稳健；网格搜索针对非凸问题易得到局部优最。 2. 贝叶斯初步优化 安装 相关包 pip in...
python 实现lgb训练及模型预测
MusicDancing的博客
11-27 5191
使用训练好的lightgbm对测试集打分，并保留预测结果。 # coding:utf-8 import pandas as pd import lightgbm as lgb import sys THRESHOLD = 0.28 # 设定截断阈值 data_input_path = sys.argv[1] # 数据输入路径 data_output_path = sys.argv[2] # 数据输出路径 model_file_path = sys.argv[3] # 模型路径 # 1.加载测试数据.
随机森林RF、GBDT、XGBoost的区别
MusicDancing的博客
08-14 4874
1. 随机森林 1.1 定义 RF是一个用随机方式建立的，包含多个决策树的集成分类器，其输出类别由各个树投票而定(回归树取平均)。 1.2 生成过程 假设样本总数为n，特征数为a。 1. 从原始样本中采用有放回抽样(bagginhg)的方法选取n个抽样。 2. 对n个样本选取a个特征重的随机k个，用于建立决策树的方法，获得最佳分割点。 3. 重复m次，获得m个决策树。 4. 对输入样例进行预测时，每个子树都产生一个结果，采用多数投票机制输出。 1.3 优点 1. 实现简单，训练速度
支持向量机SVM简介
MusicDancing的博客
08-14 3535
1. 定义 SVM是一种二分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器。适合小样本(非线性、高维模式)学习。 模型 -----> 分离平面； 策略 -----> 间隔最大化； 学习算法 -----> 凸二次优化； 3. 线性可分SVM的对偶算法 针对原始问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解。 优点： 1. 对偶问题往往更容易求解； 2. 自然引入核函数，进而推广到非线性分类问题。 定义拉格朗日函数(拉...
决策树学习：ID3算法与应用
"决策树学习 机器学习" 在机器学习领域，决策树学习是一种非常重要的方法，它通过构建树状模型来实现数据的分类或回归。这种模型易于理解和解释，适用于处理具有离散属性的数据，并且对数据的噪声有一定的容忍度。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值