聊聊决策树的分支策略

最新推荐文章于 2023-02-05 11:44:47 发布
最新推荐文章于 2023-02-05 11:44:47 发布
阅读量1.2k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hestendelin/article/details/101546583
版权
本文探讨了决策树在分类问题中的应用，重点在于二分类决策树的分支策略。通过基尼系数和熵作为不纯度指标，解释了如何选择特征进行分支以提高节点纯净度。基尼系数降低和信息增益最大化是决策树构建的目标，旨在创建更纯净的子节点，从而提升分类效果。
摘要由CSDN通过智能技术生成

0?wx_fmt=png

决策树算法既可以用于分类问题，又可以用于回归问题。针对分类问题，其目标在于根据属性对样本集合加以分支，使得各个分支所包含的样本集尽量只属于或者只包含一类。针对回归问题，其目标一般是使得各分支中所包含的样本目标函数（预测值跟真实值之间的偏差之和）最小化。

本文主要讨论决策树用于分类问题。二分类决策树算法是比较简单的一种决策树分类算法。决策树中比较关键的点就在于其中每个节点的分支策略，在某个节点进行分支时，如何分支，应该选择哪个特征执行分支时非常关键的。执行分支时，可以基于Gini系数或熵将某个节点分成两个子节点，分支目标是尽可能使得两个子节点中只包含两类中的其中一类，意即使得两个子节点都比较纯净。

子节点的基尼系数（也可以称作不纯度指标）计算公式如下：

0?wx_fmt=png

由此可以得到父节点的基尼系数：

0?wx_fmt=png

基于基尼系数分割决策树节点时，决策树的目标是使得基尼系数变小，即使得基尼增益越大越好

最低0.47元/天 解锁文章
frank_hetest
关注
决策树分析理论之分支准则+实例计算（一）
大数据技术派
01-16 4644
http://www.ikeguang.com/ 决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。决策树具有监督式的特征提取与描述的功能，将输入变量根据目标设定来选择分支变量与分支方式，并以树枝状的层级架构呈现，以提取分类规则。 构建决策树目的 探索 预测 构建决策树的步骤 数据准备 决策树生长 决策树修剪 规则提取 在...
机器学习算法（3）之决策树算法
热门推荐
不曾走远的博客
08-25 12万+
前言：首先，在了解树模型之前，自然想到树模型和线性模型有什么区别呢？其中最重要的是，树形模型是一个一个特征进行处理，之前线性模型是所有特征给予权重相加得到一个新的值。决策树与逻辑回归的分类区别也在于此，逻辑回归是将所有特征变换为概率后，通过大于某一概率阈值的划分为一类，小于某一概率阈值的为另一类；而决策树是对每一个特征做一个划分。另外逻辑回归只能找到线性分割（输入特征x与logit之间是线性的，除...
决策树分支规则
XInXinMu的博客
10-13 517
决策树分析理论之分支准则+实例计算（一）_大数据技术派-CSDN博客_决策树分支规则
【机器学习】决策树（划分选择、算法流程、剪枝处理，连续值与缺失值处理）
最新发布
weixin_63062756的博客
02-05 1391
划分选择（信息增益、增益率、基尼指数）、算法流程、剪枝处理（预剪枝、后剪枝），连续值与缺失值处理，多变量决策树
树模型之三种常见的决策树：CART，…
bluewater的专栏
04-14 2万+
树模型（又称决策树或者树结构模型）：基本思想和方差分析中的变异分解极为相似。 目的（基本原则）：将总研究样本通过某些牲（自变量取值）分成数个相对同质的子样本。每一子样本因变量的取值高度一致，相应的变异/杂质尽量落在不同子样本间。所有树模型的算法都遵循这一基本原则。 不同树模型差异：差异在于对变异/杂质的定义不同。比如P值、方差、熵、Gini指数（基尼指数）、Deviance等作为测量指标。 树模
决策树——选择最好的划分方法之信息熵
tripleHu的博客
04-23 3092
决策树（Decision Tree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。 训练数据如下表： 根据训练数据集的数据，构造决策树 比如新发现一种动物，通过决策树就可以判断它是否是鱼
机器学习——动手从决策树实现随机森林
TechFlow的博客
06-29 567
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是机器学习专题的第26篇文章，我们一起聊聊另外一个集成学习模型，它就是大名鼎鼎的随机森林。 随机森林在业内名气和使用范围都很广，曾经在许多算法比赛当中拔得头筹。另外，它也是一个通过组合多个弱分类器构建强分类器的经典模型，因此它在业内广受欢迎。 本文基于决策树相关的文章，没有阅读过的同学可以从最上方的专辑查看过往决策树相关的文章。 算法原理 上一篇文章介绍AdaBoost的时候把集成学习的几种思路大概介绍了一遍，集成学习主要是三种方法，Ba
基础篇 | 09 决策树
LorneNote
05-01 1999
决策树的基本思想 决策树的基本思想是这样的，大家看上图，最右边是一个人是否打高尔夫球的决定，前面四列是是否打高尔夫球的判断条件，包含天气、温度、湿度和风况，我们追踪了它很多天的记录。然后当他给我新的条件的时候，我能推断出他是否去打高尔夫，这是一个非常经典的机器学习问题，非常适合用决策树来解决。我们用这张表就可以构建出如下决策树： 决策树是如何使用的 当我们只知道了天气、温度、湿度、风...
机器学习一决策树
qq_35195122的博客
04-21 1424
决策树一.基本流程：     决策树（decision tree）是一种常见的机器学习方法，以二分类任务为例，我们希望从给定的训练数据集学得一个模型用于对未知样本进行分类，，这个把样本分类的任务，可以看作对“当前样本属于正类吗?”这个问题的‘决策’或‘判断’过程。决策树是基于树结构来进行决策的。例如，我们要对‘这是好瓜吗？’这样的问题进行决策时，通常会进行一系列的判断或‘子决策’：我们先看‘它是什...
聊聊机器学习中的非平衡数据集
hestendelin的专栏
05-26 523
机器学习中处理非平衡数据集的方法有多种，本文中聊聊处理非平衡数据集的方法。采样之后的效果依赖于正负样本的比例，数据的特征以及分类器的特性。针对样本比较少的类别，可以通过随...
机器学习 -- 初识决策树
Sabrina_cc的博客
05-03 1435
一、概述 决策树是一种典型的分类方法 首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。 本质上决策树是通过一系列规则对数据进行分类的过程。 1. 分类问题的步骤 （1）模型构建（归纳）通过对训练集合的归纳，建立分类模型。 （2）预测应用（推论）建立的分类模型，对测试集合进行测试。 2. 决策树的优点 （1）推理过程容易理解，决策推理过程可以表示...
机器学习之决策树（Decision Tree）
小火球儿
07-26 1792
决策树（Decision Tree） 决策树又称为判定树，是数据挖掘中的一种重要的分类与回归方法，它是一种以树结构(包括二叉树和多叉树)形式来表达的预测分析模型 是一种有监督的算法 决策树有两种，一种是分类树（输入是离散的），一种是回归树（输入是连续的） 决策树由节点和分支组成：（详情参考数据结构书本） 节点分为三种：根节点，内部节点，叶节点 分支：用于连接各个节点 决策树分为以下结构： 每个内部节点对应于某个属性上的测试(test)或者说是大类 每个分支对应于该测试的一种可能结果 每个叶节点对应
决策树（决策树的分支深度及重要特征检测）
weixin_33827731的博客
03-31 2345
import matplotlib.pyplot as plt from sklearn import datasets import numpy as np from sklearn.tree import DecisionTreeClassifier n_features = 200 X, y = datasets.make_classification(750, 200,n...
第四章 决策树
weixin_44014982的博客
11-21 1281
决策树
决策树
MarinkaWang的博客
04-21 4088
决策树算法 决策树在构造过程中不需要任何领域知识或参数设置，因此在实际应用中，对于探测式的知识发现，决策树更加适用。 1、ID3，C4.5，CART算法 2、C4.5Rule的泛化能力通常优于C4.5决策树决策树的解释 1、决策树是基于树结构进行决策的 2、一般地，一棵决策树包含一个根结点、若干个内部结点和若干个叶结点。叶结点对应于决策结果，其他每个结点则对应于一个属性测试。 3、每个结
决策树分支算法（ID3、C4.5、CART）
superY_26的博客
05-12 931
决策树的核心过程就是建树过程中的分支处理。 1、ID3 ID3决策树学习算法由罗斯·昆兰（J. Ross Quinlan）在1986年发表。其主要思想是以信息增益为准则来划分特征。 根据“信息熵”的概念，信息熵越大，包含的信息越多。在决策树建树的过程中，每次划分特征都希望分支节点所包含的样本尽可能属于同一类别，即节点的“纯度”（purity）越来越高。 信息熵是度量样本集合纯度最常用的一种指标。假定当前样本集合DDD中第kkk类样本所占的比例为pk(k=1,2,...,K)p_k(k=1,2,...,K)p
决策树算法
wxn704414736的博客
05-30 1970
 部分参考https://www.cnblogs.com/taojake-ML/p/6117469.html 1、简介         分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部节点和叶节点，内部节点表示一个特征或属性，叶节点表示一个类。分类的时候，从根节点开始，当前节点设为根节点，当前节点必定是一种特征，根据实例的该特征的取值，向下移动，...
决策树原理
On the road to profession
03-25 1421
一、概述 决策树是一种功能强大而且较为受欢迎的分类预测工具。这种工具能以树形图将对实例分类时产生的规则表达出来。 决策树是一种典型的非线性分类器。 二、基本原理 2.1 表现形式 决策树基本组成部分：决策节点、分支、叶子。 其中每个分支都是一个新的决策节点或者叶子。 根节点：决策树最上边（开始）的节点。 决策节点：一个问题或决策，通常对应分类对象的属性。 叶子：一种可能的分...
解决clementine c5.0算法 做出来的决策树没有分支 显示没有变量重要性信息
与代码的懵懵懂懂
04-09 6271
前天用clementine 试了一次生成决策树，结果粗来只有一个根节点，如下图。 由于以前没有任何spss操作的经验，我的数据挖掘的知识仅限于课堂学过的 ID3算法，鉴于要上班，我没有时间跟着网络教程 一步一步学，如果决策树出不来，我的毕业论文就泡汤啦！！于是到处找答案，发帖求大神，没有答案。其间，我修改了数据类型、数据方向、模仿例子的流程，都没有成功。试着运行demo，demo是有正常
决策树算法详解：特征选择与剪枝策略
决策树是一种基于“分而治之”策略的机器学习算法，特别适用于分类任务，同时也可用于回归分析。其基本流程包括特征选择、决策树生成和剪枝三个步骤。文档介绍了ID3、C4.5和CART这三种经典的决策树算法，它们的主要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值