机器学习笔记（三）：决策树

最新推荐文章于 2024-07-30 10:08:48 发布
最新推荐文章于 2024-07-30 10:08:48 发布
阅读量185 收藏 1
点赞数
分类专栏： 机器学习 机器学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoxy97/article/details/82834199
版权

ID3、C4.5、CART分类树算法总结

决策树剪枝：

①前置剪枝：API自带前置剪枝，实践证明这种策略无法得到比较好的结果

②后置剪枝：

分类树和回归树

决策树可视化

xiaoxy97
关注
专栏目录
决策树
鲨鱼儿的博客
03-27 2561
一、决策树算法基础 1、决策树算法： NOTE: 决策树是一个贪心算法，每次选择划分数据的划分节点的时候，都是选择让损失函数变的更小的这个特征属性作为划 分节点，只考虑局部最优没有考虑全局最优。 在分类的时候，损失函数可以理解为信息熵；在回归的时候，损失函数可以理解为MSE。 只有基于决策树模型才能传入多个标签，其他的...
学习笔记：机器学习之决策树
qq_44635691的博客
07-10 789
学习笔记：机器学习之决策树
机器学习读书笔记：决策树
新兴IT民工的专栏
09-07 1万+
文章目录如何形成一颗决策树划分选择信息熵 & 信息增益基尼指数剪枝预剪枝后剪枝连续值 & 属性缺失处理连续值属性缺失多变量决策树 如何形成一颗决策树 ​ 决策树从结构上来说就是一颗树的数据结构。从根节点开始，每次根据样本中的某个属性就行判断进行分岔，直到叶节点获得分类： ​ 这个很好理解，书中提到了形成一棵决策树的一般算法： ​ 先理解一下这个递归函数的三个返回条件： 样本集DDD中的样本全部属于同一个类别。就算样本集合DDD中的属性有不同的取值，但是已经无法为当前的节点进行分岔了，
机器学习笔记十一：决策树
谢小小XH
03-22 1871
决策树算法
Python机器学习日记8：决策树
大家好，欢迎来到鱼尾的博客！
11-02 1747
Python机器学习日记8：决策树一、书目与章节二、决策树1. 构造决策树 一、书目与章节 拜读的是这本《Python机器学习基础教程》，本文选自第2章“监督学习”第3节“监督学习算法中的决策树。 本书全部代码：https://github.com/amueller/introduction_to_ml_with_python 二、决策树 应用场景：分类和回归 本质：从一层层的if/else问题中进行学习，并得出结论 运行第五行代码的时候可能会报错，需要先安装库graphviz import mgle
机器学习笔记（2）-决策树
weixin_52157968的博客
07-19 1137
（1）基尼值​Gini(D)反映了从数据集D中随机抽取两个样本，其类别标记不一致的概率，表示数据集整体的不确定性。Gini(D)越小，数据集D的纯度越高，不确定性越小。（2）基尼指数​表示经a分割后数据集D的不确定性。（3）基尼不纯度的减少量。
传统机器学习笔记4——决策树
chase
10-23 1509
传统机器学习笔记4——决策树
【机器学习西瓜书学习笔记——决策树】
m0_51148715的博客
07-30 1084
决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。一棵决策树的生成过程主要分为以下3个部分：特征选择： 是指从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准标准，从而衍生出不同的决策树算法。决策树生成： 根据选择的特征评估标准，从上至下递归地生成子节点，直到数据集不可分则停止决策树停止生长。 树结构来说，递归结构是最容易理解的方式。决策树剪枝： 决策树容易过拟合，一般来需要剪枝，缩小树结构规模、缓解过拟合。剪枝技术有预剪枝和后剪
机器学习模型：决策树笔记
暮色年华的博客
04-04 595
决策树有过拟合的风险，理论上可以完全分得开数据（如果树足够庞大，每个叶子节点就一个数据）决策树判断顺序比较重要。可以使用信息增益、信息增益率、后剪枝：当建立完决策树后进行剪枝操作(用的不多)。预剪枝：边建立决策树边进行剪枝的操作(更实用)。
【机器学习笔记】8 决策树
RIKI_1
02-16 1241
决策树是从训练数据中学习得出一个树状结构的模型。决策树属于判别模型。决策树是一种树状结构，通过做出一系列决策（选择）来对数据进行划分，这类似于针对一系列问题进行选择。决策树的决策过程就是从根节点开始，测试待分类项中对应的特征属性，并按照其值选择输出分支，直到叶子节点，将叶子节点的存放的类别作为决策结果。以下小美相亲的例子就是决策树决策树算法是一种归纳分类算法，它通过对训练集的学习，挖掘出有用的规则，用于对新数据进行预测。决策树算法属于监督学习方法。
机器学习-西瓜书学习笔记-第四章决策树及代码
最新发布
08-13
1. 划分选择：决策树学习中，选择最优划分属性是关键。这涉及到如何度量样本集合的纯度，以及如何根据属性划分样本集合。 - 信息熵：信息熵是度量样本集合纯度的一种指标 - 信息增益：使用属性进行划分所获得的...
机器学习系列笔记十二: 决策树
ChanZany的博客
07-19 528
机器学习系列笔记十一: 决策树 文章目录机器学习系列笔记十一: 决策树Intro信息熵使用信息熵寻找最优划分基尼系数使用基尼系数寻找最佳划分基尼系数与信息熵的对比CART与决策树中的超参数决策树的超参数决策树解决回归问题决策树的局限性缺点改进措施总结参考致谢 Intro 以招聘机器学习算法工程师为例子，对于一个应聘者的信息输入，决策的流程可以一个树结构来表示： 通过多级判断产生多个判断条件作为根节点，多个结果作为叶子节点，这样的过程就叫做决策树。通常我们把决策树的深度定义为获取最终结果的最大所需判断数。在
机器学习笔记：决策树
jlycd的博客
01-30 265
决策树模型建立重要参数画图参数调优 模型建立 决策树是一种常见的机器学习算法，既可以做分类也可以做回归。决策树的执行过程是将数据从根节点一步一步的划分到各个叶子节点（决策的过程）。决策树包括以下组成成分： 根节点 肥叶子节点与分支 叶子节点（最终的决策结果） 核心：（怎样找到最佳树） 如何在表中找到最佳节点和最佳分支 如何让决策树停止生长 防止过拟合 模块 sklearn.tree tree.DecisionTreeClassifier 分类树 tree.DecisionTreeRegressor 回归树
【学习笔记】西瓜书机器学习之第四章：决策树
For-4946的博客
01-22 956
1.什么是决策树？ 决策树是一种常见的机器学习方法，以二分类为例，根据一系列的子决策来判断出样本是否为正例。 决策的过程是选择一个属性，来进行判断。以西瓜问题为例，假设已经训练好了一个模型。我们有一个西瓜，先看它的色泽，色泽为青绿色，然后一步一步往下走，最后得到这个西瓜是否为正例（好瓜） 2. 三种选择最优化分属性的方法 现在我们知道了决策树是如何工作的，但是该如何选择每个子决策所对应的属性呢？“纯度”将帮助我们解决这一问题，我们当然希望决策树分支节点所包含的样本尽可能属于同一类别，因此纯度越高越好。 2
数据不平衡：下采样、上采样python代码实现
热门推荐
xiaoxy97的博客
09-29 2万+
一、下采样 所有数据存在DataFrame对象df中。数据分为两类：多数类别和少数类别，数据量相差大。数据预处理已将多数类别的Label标记为1，少数类别的Label标记为0。从多数类中随机抽取样本（抽取的样本数量与少数类别样本量一致）从而减少多数类别样本数据，使数据达到平衡的方式。 import numpy as np import pandas as pd def lower_sam...
梯度下降法python+numpy实现
xiaoxy97的博客
10-11 2771
批量梯度下降法(Batch Gradient Descent, BGD)：使用所有样本在当前点的梯度值来对变量参数进行更新操作。 随机梯度下降法(Stochastic Gradient Descent, SGD)：在更新变量参数的时候，选取一个样本的梯度值来更新参数。 小批量梯度下降法(Mini-batch Gradient Descent, MBGD)：集合BGD和SGD的特性，从原...
机器学习笔记（七）：SVM
xiaoxy97的博客
10-11 1911
一、前导 1、最优化问题 最优化问题一般是指对于某一个函数而言，求解在其指定作用域上的全局最小值问题，一般分为以下三种情况(备注：以下几种方式求出来的解都有可能是局部极小值，只有当函数是凸函数的时候，才可以得到全局最小值)： ①无约束问题：求解方式一般求解方式梯度下降法、牛顿法、坐标轴下降法等； ②等式约束条件：求解方式一般为拉格朗日乘子法 拉格朗日乘子法求解 ③不等式约...
机器学习笔记（六）：聚类算法
xiaoxy97的博客
10-03 1317
一、聚类算法总括 1.1  定义 对大量未标注的数据集按数据内部存在的数据特征划分为多个不同类别，使类别内数据比较相似，类别间数据相似度比较小。 1.2  和分类算法区别 分类算法：有监督学习 聚类算法：无监督学习 1.3  样本相似度度量 1.3.1  闵可夫斯基距离(Minkowski) a. p=1：曼哈顿距离 b. p=2：欧氏距离（常用） c. p为无穷大：切比雪...
机器学习标准化处理小技巧
xiaoxy97的博客
07-09 466
数据标准化 StandardScaler (基于特征矩阵的列，将属性值转换至服从正态分布) 标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下 常用与基于正态分布的算法，比如回归 数据归一化 MinMaxScaler （区间缩放，基于最大最小值，将数据转换到0,1区间上的） 提升模型收敛速度，提升模型精度 常见用于神经网络 Normalizer...
机器学习算法详解：从决策树到SVM
"这篇资源是关于传统机器学习算法的个人笔记，涵盖了k近邻、朴素贝叶斯、支持向量机（SVM）、感知机和逻辑回归等算法，重点介绍了它们的基本思想、优缺点和应用场景。" 1. **决策树**： 决策树是一种基于树形结构...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值