ML基础-决策树-1-理论基础知识

最新推荐文章于 2023-03-02 22:13:19 发布
最新推荐文章于 2023-03-02 22:13:19 发布
阅读量296 收藏
点赞数
分类专栏： ML基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011728683/article/details/79323742
版权
本文介绍了决策树的基本结构和工作原理，通过一个邮件分类系统的例子展示了决策树如何划分数据。接着，文章深入探讨了ID3算法，并解释了熵的概念及其在信息论中的作用，为构建决策树提供了数学基础。
摘要由CSDN通过智能技术生成

简介

长方形代表判断模块 判断模块 （decision block），
椭圆形代表终止模块 终止模块 （terminating block），表示已经得出结论，可以终止运行。
从判断模块引出的左右箭头称作分支 分支 （branch），它可以到达另一个判断模块或者终止模块。
如图构造了一个假想的邮件分类系统，它首先检测发送邮件域名地址。如果地址为myEmployer.com，则将其放在分类“无聊时需要阅读的邮件”中。如果邮件不是来自这个域名，则检查邮件内容里是否包含单词曲棍球 曲棍球 ，如果包含则 将邮件归类到“需要及时处理的朋友邮件”，如果不包含则将邮件归类到“无需阅读的垃圾邮件”。
这里写图片描述

在构造决策树时，我们需要解决的第一个问题就是，当前数据集上哪个特征在划分数据分类时起决定性作用。为了找到决定性的特征，划分出最好的结果，我们必须评估每个特征。完成测试之后，原始数据集就被划分为几个数据子集。这些数据子集会分布在第一个决策点的所有分支上。如果某个分支下的数据属于同一类型，则当前无需阅读的垃圾邮件已经正确地划分数据分类，无需进一步对数据集进行分割。如果数据子集内的数据不属于同一类型，则需要重复划分数据子集的过程。如何划分数据子集的算法和划分原始数据集的方法相同，直到所有具有

最低0.47元/天 解锁文章
惟染
关注
专栏目录
第二章 分类模型-决策树知识点详细总结
kerry_55的博客
03-23 2715
机器学习算法系列 目录 机器学习算法系列 前言 二、决策树的生成原则 三、信息增益 四、分类条件选择 五、停止规则 六、决策树预剪枝和后剪枝 七、决策树分类模型参数说明 八、决策树优缺点 九、决策树代码 前言 本章节内容主要介绍决策树，包括决策树简介、生成规则、信息增益、决策树分类条件选择、决策树预剪枝和后剪枝、决策树参数说明并附上部分代码、决策树优缺点。 一、决策树简介 决策树是一种树形结构，树内部每个节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶子节点代表.
ML基础知识
Deicide-PiLi的博客
11-01 953
ML学习笔记 1、在深度学习中使用ReLUs要比等价的tanh快很多，因为tanh 或 sigmoid这些饱和的非线性函数在计算梯度的时候都要比非饱和的现行函数f(x)=max(0,x)f(x) = max(0, x)f(x)=max(0,x)慢很多。 ...
ML实战(一)——基础知识
zjmy的博客
04-01 1315
1、关键词 通过构建下面的鸟类分类系统，来对机器学习领域的常用术语进行一个总结。 机器学习的主要任务就是 分类。如何判断飞入进食器的鸟是不是象牙喙啄木鸟呢？（任何发现活的象牙喙啄木鸟的人都可以得到5万美元的奖励。）这个任务就是 分类，有很多机器学习算法非常善于 分类。本例中的类别就是鸟的物种，更具体地说，就是区分是否为象牙喙啄木鸟。 我们决定使用某个机器学习算法进行 分类，首先需要做的是算法训练...
ML入门理论
a75543332的博客
04-10 178
http://www.mamicode.com/info-detail-1707941.html 转载于:https://www.cnblogs.com/SuKiWX/p/8778704.html
ML基本知识（十一）梯度消失和梯度爆炸
更木的博客
07-08 819
持续更新中 深度学习 基本知识 dropout 解释 前向传播每一个batch_size时每个神经元都以一定的概率p被保留，而后反向传播的时候只是更新那些没有被删掉的神经元的梯度和与这些神经元相关的权重矩阵的参数。 这样就可以导致每个batch_size个训练样本对应的模型都不相同，因而很多个数据训练下来后就会得到很多个模型的平均，因而相当于模型融合，导致模型的鲁棒性增强，从而最大程度抑制过拟合。test时以每个神经元都保留，但是要乘以p,这也是因为平均的作用(面试的时候不要说)。 正则化 计算.
ml-videos：用于机器学习的视频资源集合
02-03
参与者可以通过这些工作坊深入了解特定算法的实现过程，例如支持向量机（SVM）、决策树、随机森林等，同时也可以学习如何运用工具如Python的Scikit-Learn库进行建模。 【统计讲解】 统计学是机器学习的基石，"ml-...
ml-interview：为机器学习面试做准备
02-03
理解各种算法，如线性回归、逻辑回归、决策树、随机森林、支持向量机、神经网络、深度学习等，以及它们的适用场景和优缺点，都是必不可少的。 2. **数学基础**：线性代数、概率论与数理统计、优化理论是机器学习的...
ml-projects:我的迷你机器学习项目
03-20
Scikit-learn是Python中最受欢迎的机器学习库，它包含了各种监督和无监督学习算法，例如线性回归、逻辑回归、决策树、随机森林、支持向量机和聚类算法等。这些模型在ml-projects中可能被用于解决分类、回归和聚类...
ML基本知识（一）零散知识点
更木的博客
03-17 506
样本不均衡问题 后果 假设正:负=1:100，则如果不对负样本进行处理，则模型学出来的规律是有偏的，因为即便是把所有的样本都预测成负样本，模型的准召依然很高，但是效果很差。 解决方案 weighted_logloss：加重对正样本预测为负样本的惩罚力度。 L=∑i[wiyilog(pi)+(1−yi)log(1−pi)]L = \sum_i [w_i y_i log(p_i) + (1-y_i) log(1-p_i)]L=i∑​[wi​yi​log(pi​)+(1−yi​)log(1−pi​)] 过采样：正
机器学习(ML) 入门知识
coderzc 的博客
10-22 424
ML知识概括： 知识地图.jpeg ML常用公式 常用公式.jpeg 推荐学习博客：莫烦Python(有视频和图文，很大神非常推荐) https://morvanzhou.github.io/ 基本术语 特征向量(feature vector)/样本(sample)：用多个维度来描述一件事物有叫做“样本”也叫做“特征向量” 训练(training)：从数据中学得模型*得过程...
ML&DL基础理论
qq_43783336的博客
03-16 211
说说你项目中怎么选择开发平台 1.主要使用PyTorch, TensorFlow。    2.与数据处理生态整合的紧密程度。是否具有方便的数据预处理工具，是否支持可视化、统计推断、数据分析。    3.对数据量及硬件的要求和支持。    4.平台的成熟度，定期维护以及社区活跃。    5.平台利用是否多样，移植性好。 说说你怎么进行超参数调优的？ 1.网格搜索：让计算机尝试在一定范围内均匀分布的一组值。 2.猜测和检查：根据经验或直觉，选择参数，一直迭代。  3.随机搜索：让...
「ML 基础篇」机器学习概览
三余知行
03-02 1283
机器学习基础 - 概览：什么是机器学习？什么情况需要引入机器学习？机器学习有哪些应用场景？机器学习怎么分类？机器学习领域的主要挑战是什么？如何对模型进行验证和评估？
ER图画法及图形含义、举例说明、通俗易懂
热门推荐
weixin_19164791635
05-08 17万+
本文章和大家分享如何画ER图，因为在计算机毕业设计、课程设计、文档报告中经常用到，所以还是有必要和大家共同来学习一下。 一、先看图熟悉E-R图中图形及代表的意思 在我们毕业论文、课题报告等文档中，涉及到画E-R图（实体-联系图）是非常常见的。如上图所示，我将详细为大家介绍E-R图中每个图形的含义及用法，在我们针对自己的系统如何画E-R图，这才是至关重要的！ 长方形：表示实体。 什么是实体？实体是客观存在的事物。例如用户、商品、订单、供应商等。说直白点！！！你数据库的表名就可以做一个实体对象。一个系统.
Linux 进程、线程、文件描述符的底层原理
weixin_33465519的博客
05-12 440
一、进程是什么 首先，抽象地来说，我们的计算机就是这个东西： 这个大的矩形表示计算机的内存空间，其中的小矩形代表进程，左下角的圆形表示磁盘，右下角的图形表示一些输入输出设备，比如鼠标键盘显示器等等。另外，注意到内存空间被划分为了两块，上半部分表示用户空间，下半部分表示内核空间。 用户空间装着用户进程需要使用的资源，比如你在程序代码里开一个数组，这个数组肯定存在用户空间；内核空间存放内核进程需要加载的系统资源，这一些资源一般是不允许用户访问的。但是注意有的用户进程会共享一些内核空间的资源，比如一些动
计算机名词解释（计算机科学导论）
qq_57334289的博客
05-01 1349
UML UML（Unified Modeling Language）: 统一建模语言，一种用来进行分析和设计的图形化语言 通过UML，可以用标准图形概念来说明，可视化，构造说明软件和硬件系统 UML提供不同层次的抽象，称为视图 4个视图是： 用户视图： 显示用户与系统间的交互。该视图用用例图表示 结构视图： 显示系统的静态结构。用类图表示。 行为视图： 显示对象在系统中的行为。用协作图，顺序图，状态图和活动图表示。 实现视图： 显示系统是如何实现的。用组件图和配置图表示 用户视图 用户视图是整个系
机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）
weixin_34320724的博客
10-29 6044
  　　前言： 　　找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，如果你的研究方向是机器学习/数据挖掘之类，且又对其非常感兴趣的话，可以考虑考虑该岗位，毕竟在机器智能没达到人类水平之前，机器学习可以作为一种重要手段，而随着科技的不断发展，相信这方面的人才需求也会越来越大。 　　纵观IT行业的招聘岗位，机器学习之类的岗位还是...
ML（1）——机器学习简述
weixin_30338743的博客
03-26 403
简述 　　机器学习是人工智能的一种实现方式；深度学习是一种实现机器学习的技术，或者说是一种特殊的机器学习方法，可以说广义上的机器学习也包括了深度学习，三者的关系如下图所示： 　　从判别垃圾邮件到无人驾驶技术，机器学习在众多领域都有着广泛的应用，机器学习成就了今天的人工智能。 机器学习的本质 　　在以往的工程项目中，我们认为计算机程序只能严格执行我们让它做的事情——输入数据，输出计算结...
coursera-ml-andrewng-notes-master.zip
最新发布
06-27
### 回答1： Coursera-ml-andrewng-notes-master.zip是一个包含Andrew Ng的机器学习课程笔记和代码的压缩包。这门课程是由斯坦福大学提供的计算机科学和人工智能实验室（CSAIL）的教授Andrew Ng教授开设的，旨在通过深入浅出的方式介绍机器学习的基础概念，包括监督学习、无监督学习、逻辑回归、神经网络等等。 这个压缩包中的笔记和代码可以帮助机器学习初学者更好地理解和应用所学的知识。笔记中包含了课程中涉及到的各种公式、算法和概念的详细解释，同时也包括了编程作业的指导和解答。而代码部分包含了课程中使用的MATLAB代码，以及Python代码的实现。 这个压缩包对机器学习爱好者和学生来说是一个非常有用的资源，能够让他们深入了解机器学习的基础，并掌握如何运用这些知识去解决实际问题。此外，这个压缩包还可以作为教师和讲师的教学资源，帮助他们更好地传授机器学习的知识和技能。 ### 回答2： coursera-ml-andrewng-notes-master.zip 是一个 Coursera Machine Learning 课程的笔记和教材的压缩包，由学生或者讲师编写。这个压缩包中包括了 Andrew Ng 教授在 Coursera 上发布的 Machine Learning 课程的全部讲义、练习题和答案等相关学习材料。 Machine Learning 课程是一个介绍机器学习的课程，它包括了许多重要的机器学习算法和理论，例如线性回归、神经网络、决策树、支持向量机等。这个课程的目标是让学生了解机器学习的方法，学习如何使用机器学习来解决实际问题，并最终构建自己的机器学习系统。 这个压缩包中包含的所有学习材料都是免费的，每个人都可以从 Coursera 的网站上免费获取。通过学习这个课程，你将学习到机器学习的基础知识和核心算法，掌握机器学习的实际应用技巧，以及学会如何处理不同种类的数据和问题。 总之，coursera-ml-andrewng-notes-master.zip 是一个非常有用的学习资源，它可以帮助人们更好地学习、理解和掌握机器学习的知识和技能。无论你是机器学习初学者还是资深的机器学习专家，它都将是一个重要的参考工具。 ### 回答3： coursera-ml-andrewng-notes-master.zip是一份具有高价值的文件，其中包含了Andrew Ng在Coursera上开授的机器学习课程的笔记。这份课程笔记可以帮助学习者更好地理解掌握机器学习技术和方法，提高在机器学习领域的实践能力。通过这份文件，学习者可以学习到机器学习的算法、原理和应用，其中包括线性回归、逻辑回归、神经网络、支持向量机、聚类、降维等多个内容。同时，这份笔记还提供了很多代码实现和模板，学习者可以通过这些实例来理解、运用和进一步深入研究机器学习技术。 总的来说，coursera-ml-andrewng-notes-master.zip对于想要深入学习和掌握机器学习技术和方法的学习者来说是一份不可多得的资料，对于企业中从事机器学习相关工作的从业人员来说也是进行技能提升或者知识更新的重要资料。因此，对于机器学习领域的学习者和从业人员来说，学习并掌握coursera-ml-andrewng-notes-master.zip所提供的知识和技能是非常有价值的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值