【Datewhale一起吃瓜 Task3】啃瓜第四章

最新推荐文章于 2024-09-11 22:48:33 发布
最新推荐文章于 2024-09-11 22:48:33 发布
阅读量648 收藏
点赞数
文章标签： 决策树 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ngtnmd/article/details/128759392
版权

文章目录

决策树

决策树基于“树”结构进行决策

在这里插入图片描述

  • 每个内部节点对应于某个属性上的测试
  • 每个分支对应于该属性的某个取值
  • 每个叶节点对应于一个预测结果

学习过程

根据训练数据，确定每个节点的划分属性
在这里插入图片描述

划分停止条件

  • 当前节点包含的样本属于同一类别，无需划分
  • 当前属性集为空，或是所有样本在所有属性上取值相同，无法划分
  • 当前节点包含的样本集合为空，不能划分

预测过程

新样本从根节点开始，根据节点属性一步一步往下走，直到叶节点为最终预测结果

如何划分

信息熵

描述当前样本纯度，信息熵越小，纯度越高
在这里插入图片描述

信息增益

描述经过一次划分后获得的收益
在这里插入图片描述
缺点：对于属性值多的属性有所偏好

增益率

在这里插入图片描述
过程：先从信息增益中找到高于平均水平的，再从中找到增益率高的

基尼指数

基尼指数越小，数据集纯度越高
在这里插入图片描述

泛化能力关键：剪枝

预剪枝

验证每个节点划分后前后精度变化，再决定要不要生成这个节点

后剪枝

先生成完整的决策树，再由下向上考虑每个节点前后精度变化

比较

在这里插入图片描述

缺失值处理：样本赋权，权重划分

  1. 计算无缺失值的信息增益
  2. 根据无缺失值的样本占总样本的比例赋予信息增益权重，找到最大的属性作为划分节点
  3. 含缺失值的样本，根据无缺失值的样本在三个分支上的比例进行划分
有理想、有本领、有担当的有志青年
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
【DW组队学习—吃瓜教程】task2：概览西瓜书+南瓜书第3章
07-19
【DW组队学习—吃瓜教程】task2：概览西瓜书+南瓜书第3章是针对机器学习领域的深入学习任务，旨在通过分享和交流学习笔记来增进对相关知识的理解。这一章节的学习主要聚焦于两本重要的教材——《西瓜书》（即《统计...
第章操作系统.pptx
11-21
Linux提供了多种进程控制机制，如系统调用fork()和clone()用于创建新进程，wait3()和wait4()用于父进程等待子进程结束，exit()用于进程的正常退出，以及execve()用于执行新的程序并替换当前进程的内存空间。...
TC3中的IO Task与C 程序通信配置.zip
03-22
4. **事件驱动**：利用TC3的事件机制，C程序可以在特定事件（如IO Task完成读写操作）发生时被触发，进行相应的处理。 在具体实现过程中，C++程序可以： - 使用`TcLoadSystem`函数加载TC3工程，获取IO Task的引用...
第4章-实验3-模拟内存回收算法1
08-03
- 然后，模拟内存回收，按顺序处理Task2、Task4、Task6、Task7和不存在的Task9的释放操作，每次回收后更新空闲分区表和分配分区表。 - 最后，编写C++程序实现这些功能，包括`insert`、`creat`、`found`、`release`...
C#利用Task实现任务超时多任务一起执行的方法
08-28
C#利用Task实现任务超时多任务一起执行的方法 本文主要介绍了C#利用Task实现任务超时，多任务一起执行的相关知识点。Task是C#中的一个异步编程模型，能够帮助开发者更方便地编写异步代码。下面是本文中所涉及的知识...
【机器学习】树模型以及决策树的基本概念、决策树与随机森林的区别以及决策树在python中的实例代码
ya的博客
09-04 1664
决策树是一种常见的机器学习算法，用于分类和回归任务。它的工作原理是通过一系列的判断条件来对数据进行分割，直到达到某个终止条件在实际应用中，决策树通常需要配合剪枝技术来提高其在未知数据上的泛化能力。此外，决策树也可以作为集成学习方法（如随机森林、梯度提升树）的一部分，以提高模型的性能总的来说，随机森林是决策树的一种扩展，它通过集成多个决策树来提高预测性能和模型的稳定性这个实例展示了如何使用Python和scikit-learn库来构建、训练和评估一个决策树分类器，并且如何将其可视化。
【菜菜的sklearn机器学习】（1）决策树
sinat_40759442的博客
09-11 496
机器学习笔记-决策树
决策树基础概论
hello.reader
09-11 754
在机器学习领域，决策树（Decision Tree）是一种高度直观且广泛应用的算法。它通过一系列简单的是/否问题，将复杂的决策过程分解为一棵树状结构，使得分类或回归问题的解决过程直观明了。决策树的最大特点在于可解释性强，每个决策节点都代表对特定特征的判断，最终根据这些判断得出结论。决策树适用于多种任务，例如：垃圾邮件分类、病症诊断、股票价格预测等。不仅如此，它还可以处理连续变量和离散变量，并且无需对数据进行过多预处理，如标准化或归一化。为了更好地理解决策树的结构，我们使用Mermaid。
[机器学习]决策树
Letmooning的博客
09-11 269
1 决策树简介 2 信息熵 3 ID3决策树 3.1 决策树构建流程 3.2 决策树案例 4 C4.5决策树
【数据结构】排序算法系列——希尔排序（附源码+图解）
Skrrapper的博客
09-07 935
希尔排序实际上是个相当复杂的排序算法，这主要是跟它的步长序列gap到底该如何取、后续应该减小有关。时，数组已经接近有序的了，就整体而言，最后一次整体的插入排序就可以大大提高效率——我们从插入排序的时间复杂度分析也可以看出，可以看到每次减小gap的规律是将原先的gap/2，但事实上这只是其中一种处理方法，并不说明这是最优解。，使得平均情况下的时间复杂度能够在O(n^1.3)左右，而不好的选择则可能导致接近最坏情况的性能。中，我们会将整体数据一分为多份，进行散布式的插入排序，这时候每一个子序列之间的间隙就是。
树状数组记录
volcan的博客
09-06 678
树状数组（Fenwick Tree）是一种用于维护数组前缀和的数据结构，支持高效的单点更新和区间查询操作。它的查询和更新时间复杂度为Ologn，适用于需要频繁更新和查询的场景。
Java数据结构（十）——冒泡排序、快速排序
最新发布
xiaokuer_的博客
09-11 659
文章介绍了冒泡排序和快速排序，快速排序的内容包括：划分方式、优化策略以及非递归实现
算法基础-约数
qq_65186476的博客
09-11 102
试除法求约数、约数个数、约数之和、最大公约数
【Python 千题 —— 算法篇】寻找两个正序数组的中位数
繁依Fanyi的博客
09-07 1216
合并排序法：易于理解，但时间复杂度较高，适合小规模数据。双指针法：通过双指针合并数组，时间复杂度 O(m + n)，适合中等规模数据。二分查找法：通过二分查找，在较短数组上进行划分，时间复杂度为 O(log(min(m, n)))，是处理大规模数据的最佳选择。对于这种涉及高效搜索和排序的题目，掌握二分查找的应用至关重要。通过本题目，我们不仅能够提升对数组和中位数的理解，还能够学到如何优化时间复杂度，使算法在处理大规模数据时更加高效。
专题一_双指针_算法专题详细总结
2301_80636070的博客
09-06 959
利用双指针，cur=0，dest=-1，只要nums[cur]==0 dest就走两格；否则 dest走一格；但是无论怎么样cur都走一格。直到dest到达结尾处n-1 停止，即 判断dest>=n-1 处 break；
旅行商问题解法（2024年字节跳动校招笔试算法题“毕业旅行问题”）_小明目前在做一份毕业旅行的规划。打算从北京出发,分别去若干个城市,然后再回到北
2401_86367123的博客
09-08 860
{1},{2},{1,2},{3},{1,3},{2,3},{1,2,3},…,n}，因为只有根据小的集合才能推导出大的集合，将这个集合。{p1​,p2​,…,p32​}，即32个城市。dp[0]{1},dp[2]{1},…,dp[m]{1}（因为。dp[0]{n},dp[2]{n},…,dp[m]{n}（因为。dp[1]{},dp[2]{},…,dp[n]{}的值。dp[3]{} 代表从城市3回到起点的距离，也就是。dp[n]{}=D0n​，所以我们可以把各个城市。
算法练习题22——解码
hello77的blogggg 祝你得偿所愿
09-11 109
小明有一串很长的英文字母，其中可能包含大写和小写字母。在这串字母中，有很多字母是连续且重复的。为了压缩这串字母的表达形式，小明决定将连续相同的字母用“字母 + 出现次数”的形式表示。
18068 选择排序
huang1xiao1sheng的博客
09-11 71
输入10个整数，编写一个实现对数组进行选择排序的函数 #include int sort(int a[], int n) { int i,j,k,tmp; for(i=0;i
代码随想录算法训练营day18|二叉树06
gyuhyhui的博客
09-10 514
示例 2: 输入: root = [3,5,1,6,2,0,8,null,null,7,4], p = 5, q = 4 输出: 5 解释: 节点 5 和节点 4 的最近公共祖先是节点 5。因为根据定义最近公共祖先节点可以为节点本身。那么我们来说一说，如果 root == q，或者 root == p，说明找到 q p ，则将其返回，这个返回值，后面在中节点的处理过程中会用到，那么中节点的处理逻辑，下面讲解。例如，给定如下二叉树: root = [3,5,1,6,2,0,8,null,null,7,4]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有理想、有本领、有担当的有志青年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值