决策树学习笔记

已于 2022-04-19 11:25:25 修改
阅读量402 收藏
点赞数
分类专栏： 笔记 文章标签： 计算机视觉
于 2022-04-04 22:01:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44053841/article/details/123961474
版权

\mathrm{H}(\mathrm{X})=-\sum_{i=1}^{n} p_{i} \log _{2} p_{i}

信息增益(ID3算法)
信息增益 = entroy(前) - entroy(后)
书中公式:
\mathrm{g}(\mathrm{D}, \mathrm{A})=H(D)-H(D, A)

做法：计算使用所有特征划分数据集D，得到多个特征划分数据集D的信息增益，从这些信息增益中选择最大的，因而当前结点的划分特征便是使信息增益最大的划分所使用的特征。

信息增益比（ C4.5算法 ）

信息增益比 = 惩罚参数 * 信息增益
书中公式：

g_{R}(D, A)=\frac{g(D, A)}{H_{A}(D)}

（跟我一起学）机器学习--决策树（原理+实战） - 知乎 (zhihu.com)

书籍推荐：A. Criminisi and J. Shotton. Decision Forests for Computer Vision and Medical Image Analysis. Springer, 2013

航灬梦
关注
专栏目录
决策森林在机器视觉中的应用（PDF）
01-05
决策森林在机器视觉中的应用（PDF） Decision Forests for Computer Vision and Medical Analysis
《统计学习》决策树学习笔记
weixin_45971154的博客
01-20 420
一、决策树：分类决策树模型是一种描述实例进行分类的树形结构。
机器学习：西瓜书 决策树 学习笔记
hanmo22357的博客
10-10 668
决策树是表示面临决策问题时的一种基于树结构定义的决策模型。一棵决策树上的所有非叶子结点表示进行一次判断，叶子结点表示最终的分类结果。
机器学习之决策树学习笔记
Amy_lxq的博客
04-18 723
决策树 一颗决策树重要组成部分，分为根节点、非叶子节点，叶子节点，分支。 根节点：第一个节点 非叶子节点（决策点）：代表测试的节点，对数据属性的测试 分支：代表测试的条件 叶子节点：代表分类后所获得的分类标记，最后的结果 决策树的构造过程： 构造决策树的过程分为训练阶段和测试阶段；训练阶段需要从给定的训练集数据中构造一颗决策树；测试阶段是将测试数据在构造出的决策树上进行测试。 那重点问题就来了，如...
决策树学习笔记整理
xiaolang85的专栏
02-18 1358
本文目的 最近一段时间在Coursera上学习Data Analysis，里面有个assignment涉及到了决策树，所以参考了一些决策树方面的资料，现在将学习过程的笔记整理记录于此，作为备忘。   算法原理 决策树（Decision Tree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好
【学习笔记】决策树
xhyu61的博客
01-13 1668
波奇酱原来是钻石的原石吗…… ——《孤独摇滚！》山田凉
决策树学习笔记（二）
wu936754331的专栏
08-10 539
决策树学习笔记(二) 接着上一篇 接着上一篇笔记决策树学习笔记(一)继续学习，上一篇主要是对决策模型的初步认识和理解以及特征选择的一些规则；接下去就是决策树算法的具体实现和优化，包括决策树生成、剪枝以及分类与回归树(CART)详解。分类与回归树模型还会在后续的提升树学习中结合使用。 做学习笔记确实是一件比较耗时的事情(已经快被实验室项目榨干精力，期盼周末TT)，仅剩的空闲时间
决策树算法学习笔记
liuqihang11的博客
08-22 2339
0 声明 本文主要内容来自视频 '【2020机器学习全集】菜菜的sklearn完整版，价值4999元的最全机器学习sklearn全集，赶紧收藏_哔哩哔哩_bilibili' 以及视频课件“https://pan.baidu.com/s/1Xl4o0PMA5ysUILeCKvm_2w，提取码：a967”。 本文是一个学习笔记，不是一篇帮助新人入门的文章，其内容主要针对本人的薄弱环节，没有面面俱到，不一定适用所有人。 1 重要概念 决策树（Decision Tree）是一种非参数的有监督学习方法，它能够
DataWhale机器学习——第四章决策树学习笔记
m0_55303420的博客
06-27 351
决策树是一种递归地将数据集分成更小子集的分类和回归模型。多变量决策树使用多个属性的组合进行划分，提高了模型的灵活性和预测性能。剪枝是减少决策树过拟合的一种技术。
决策树学习笔记.zip
04-25
在机器学习中，决策树是一个预测模型，代表的是对象属性与对象值之间的一种映射关系。 决策树的应用场景非常广泛，包括但不限于以下几个方面： 金融风险评估：决策树可以用于预测客户借款违约概率，帮助银行更好地...
决策树学习笔记（一）
hczheng的专栏
09-07 9352
决策树学习笔记（一）前言 For GBDT:提升树、GBDT是以分类树或者回归树为基本分类器的提升方法，在看提升树算法的时候我发现对决策树学习的一些细节并不清晰了，于是决定从头再学一遍。之前的理解还是比较粗浅，一直以为决策树比较简单，类似于很多的简单规则一级一级拼凑起来，对决策树的条件概率表示、特征选择、决策树生成以及剪枝都没有真正的掌握。
ade20k 街景图像【数据集】及其【论文出处】ADE20K数据集 超过25000张图像的语义分割数据集
阿利同学的博客
10-04 1183
ade20k 街景图像【数据集】及其【论文出处】ADE20K数据集是一个包含超过25000张图像的语义分割数据集，这些图像被密集注释，覆盖室内和室外场景。 它由MIT发布，包含100个事物类别和50个物质类别， 用于训练和验证的图像数量分别为20210和2000。 ADE20K数据集的特点包括丰富的场景多样性和详细的语义标注，使得它成为训练和评估语义分割模型的重要资源。 数据集组成： ADE20K数据集分为训练集、验证集和测试集，其中训练集包含20,210张图像，验证集包含2,000张图像。测试集的图像
YOLO11改进|注意力机制篇|引入MSCA注意力机制
A1983Z的博客
10-08 1588
YOLO11中添加MSCA多尺度卷积注意力
YOLO11震撼发布！
啥都生的博客
09-30 3367
非常高兴地向大家介绍 Ultralytics YOLO系列的新模型： YOLO11！YOLO11 在以往 YOLO 模型基础上带来了一系列强大的功能和优化，使其速度更快、更准确、用途更广泛。主要改进包括。
图片数据增强-resize（不同插值）、各种模糊
Python_csdn_csdn的博客
10-12 346
将图片批量进行不同的数据增强处理，并保存到不同的文件夹下。
YoloV8改进策略：BackBone改进|CAFormer在YoloV8中的创新应用，显著提升目标检测性能
m0_47867638的博客
10-06 855
摘要 在目标检测领域，模型性能的提升一直是研究者和开发者们关注的重点。近期，我们尝试将CAFormer模块引入YoloV8模型中，以替换其原有的主干网络，这一创新性的改进带来了显著的性能提升。 CAFormer，作为MetaFormer框架下的一个变体，结合了深度可分离卷积和普通自注意力机制的优势。在底层阶段，CAFormer采用深度可分离卷积作为令牌混合器，有效降低了计算复杂度并保持了良好的性能；而在顶层阶段，则引入普通的自注意力机制，以更好地捕获长距离依赖性。这种设计使得CAFormer在图像分类任务上
大学生职业生涯规划书Word模板范文就业求职简历应聘工作PPT医疗康复专业
最新发布
10-12
大学生职业生涯规划书Word模板范文就业求职简历应聘工作PPT医疗康复专业
基于Java的学生信息管理系统的实现与操作
10-12
本文介绍了一个Java实现的小型系统 -- 学生信息管理系统，包括学生数据的增删查改四个主要操作的功能演示，并具体讲解了涉及三个核心类（Student.java、StudentManager.java、StudentFrame.java）的设计思想以及代码逻辑。适合Java初学者用来了解面向对象的概念应用以及Swing工具包进行GUI创建的基础方法和步骤。系统通过提供文本框用于输入学生ID和其他必要信息，并提供按钮来执行对应指令，显示栏展示查询结果显示，使操作变得更为简洁直观有效。 适用于初步掌握Java基础的开发者，特别是想要加强自己对面向对象编码思维理解和运用的同学。 使用此管理系统可以在本地电脑环境上进行学生的数据维护工作（如增删改查），提高学校教务工作者处理信息的效率。 除了基本的数据录入和搜索之外，该项目也帮助理解如何设计合理的模型类并使用集合存储大量数据元素，另外还介绍了如何通过事件监听的方式绑定用户行为和应用程序之间的交互流程。
决策树学习笔记：信息增益、增益率与基尼指数
"这篇学习笔记主要介绍了决策树的基本流程、划分选择的标准，包括信息增益、增益率和基尼指数，并提及了ID3、C4.5和CART等决策树算法。" 决策树是一种广泛应用的机器学习算法，尤其在分类问题中表现出色。它的构建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

航灬梦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值