算法面试必备-----决策树

最新推荐文章于 2022-06-02 15:13:56 发布
最新推荐文章于 2022-06-02 15:13:56 发布
阅读量385 收藏
点赞数
分类专栏： 算法岗面试笔试准备
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/avery123123/article/details/106837353
版权

算法面试必备-----决策树

算法面试必备-----决策树

建立决策树基本流程

在这里插入图片描述
在这里插入图片描述

划分选择的准则（不同的启发函数）

准则一：最大信息增益（ID3算法）

信息熵

在这里插入图片描述

信息增益

在这里插入图片描述

ID3算法公式推导（使用信息增益）
公式

在这里插入图片描述
在这里插入图片描述

算法流程推导

从根节点信息熵开始
分别计算每个特征的信息增益
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
选取最大的信息增益
在这里插入图片描述
进一步划分，选一个新的信息划分起点
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
再次选取最大信息增益
在这里插入图片描述进一步划分，选一个新的信息划分起点
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
再次选取最大信息增益
在这里插入图片描述
其他的特征也一样
在这里插入图片描述

ID3算法的不足

在这里插入图片描述

为什么信息增益会偏向于取值多的特征

在这里插入图片描述
在这里插入图片描述

准则二：最大信息增益率（C4.5算法）

应对 ID3算法利用信息增益划分，造成划分倾向于划分属性多的特征

信息增益率

在这里插入图片描述

特点及使用

对可取数目较少的属性有所偏好

使用方法：
在这里插入图片描述

C4.5 算法公式推导（使用信息增益率）
公式

在这里插入图片描述

C4.5算法的不足

在这里插入图片描述

准则三：最大基尼指数（CART算法）

基尼指数

在这里插入图片描述

CART算法公式推导

在这里插入图片描述
在这里插入图片描述

分类树：基尼指数最小原则
样本集合D的Gini指数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

回归树：平方误差最小准则

剪枝处理

预剪枝

容易造成欠拟合
在这里插入图片描述

后剪枝

过程复杂，但是效果好！
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
此时共 5 个内部结点可供考虑，其中
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Avery123123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
面试题【机器学习】决策树
希希的博客
08-10 378
1. 简述决策树原理？ 决策树是一种拥有树形结构的监督学习分类算法模型。 结构包含根节点、内部节点和叶子节点。 根节点：代表包含数据集中所有数据的集合； 子节点：经过属性划分后产生的非叶子节点，代表经过条件划分后更加相似的样本数据； 叶子节点：代表某一个结果类别，在同一个类别的样本数据属于同一个类别。 关键是使每次的属性划分后样本属于同一类别。 2. 优缺点 优...
算法面试必备-----数据挖掘常见面试题
Avery123123的博客
08-06 4405
算法面试必备-----数据挖掘常见面试题算法面试必备-----数据挖掘常见面试题1. 异常值是指什么?请列举1种识别连续型变量异常值的方法?2. 什么是数据标准化，为什么要进行数据标准化？3. 如何处理缺失值数据？4. 如何进行探索性数据分析(EDA)？5. 给定一个数据集，这个数据集有缺失值，且这些缺失值分布在离中值有 1 个标准偏差的范围内。百分之多少的数据不会受到影响？为什么？6. 对于不平衡数据集，有什么应对方案？7. 什么是 K-fold 交叉验证？8. 简述准确率(accuracy)、召回率(R
机器学习【算法岗面试总结2】----树模型
DM_LJY的博客
03-11 333
2.1 决策树的四种基本形态 目前主要流行的决策树包含以下四种情况 树名称 特征选择方法 树的分支树 涉及到的计算 节点分类 ID3 信息增益 选择出的特征，每个值做一个分支 只要计算每个特征的信息增益 依次选择信息增益值最大的特征进行节点分裂 C4.5 信息增益比 选择出的特征，每个值做一个分支 只要计算每个特征的信息...
决策树从原理简述到面试详细总结
zuolixiangfisher的博客
04-23 2010
0、背景 决策树是机器学习、数据挖掘领域一个非常常用的算法，网上相关的资料也是一大堆，原理很容易理解，但是要真正熟练运用和领悟还是需要花点功夫。本人近期有过一些面试，因此针对性地复习了一下，这里就总结一下决策树的一些原理和面试中遇到的相关问题。 1、基础知识 1.1 熵 熵其实是物理里的一个概念，代表一个系统的混乱程度，在信息论里表示一个随机变量不确定性的度量，熵越大，不确定性越高。假设 XXX ...
面试准备-决策树
missyang99的博客
09-04 548
决策树的基本原理： 决策树是一种自上而下，对样本数据进行树形分类的过程，一棵决策树包含一个根节点内部节点和叶节点。其中每个内部结点表示一个特征或属性，叶结点表示类别。顶部根结点开始 所有样本聚集在一起， 经过根结点的划分 ，样本被分到不同的子结点中再根据子结点的特征进一步划分，直至所有样本都被归到某一个类别（即叶结点）中。 决策树三要素： 特征选择，决策树生成，剪枝 ​ 1、特征选择：从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准，从而衍生出不同的决策树算法
决策树算法原理详解
07-03
【文档说明】 本文是自己整理的一些重点知识点，也是面试中会被问到的知识点 【文档结构】 决策树 信息熵（Entropy） 什么是决策树 决策树的构建过程 决策树分割属性选择 决策树量化纯度 决策树量化纯度 信息增益率计算方式 决策树的停止条件 决策树算法效果评估 决策树生成算法 ID3算法 ID３算法优缺点 C4.5算法 8 CART算法 8 ID3\C4.5\CART分类回归树算法总结 分类树和回归树的区别 决策树优化策略 决策树的剪枝 决策树剪枝过程 附录：
机器学习工程师面试宝典-07-决策树1
08-03
决策树是一种广泛应用于机器学习中的分类和...总的来说，本章是机器学习工程师面试中决策树部分的必备知识，涵盖了从基本决策树到高级集成方法的全面讲解，适合初学者和有一定经验的学习者深入理解和掌握决策树算法。
算法面试必备-----大数据
Avery123123的博客
08-06 576
算法面试必备-----大数据算法面试必备-----大数据一、Hadoop问题：Hadoop中有哪些组件？问题：Hdfs中角色有哪些？问题：Hdfs和Yarn有什么区别？问题：Hadoop的shuffle过程问题：MapReduce的shuffle过程？问题：MapReduce的Partition和Combine有什么区别？问题：Zookeeper在Hadoop中的作用？问题：Sqoop的底层原理？问题：Sqoop是怎么连接的关系型数据库？问题：HDFS读写数据的过程 算法面试必备-----大数据 一、Had
Python-20182019校招春招秋招算法NLP深度学习机器学习面试笔记
08-10
《Algorithm_Interview_Notes-Chinese-master》这个文件名暗示了笔记内容可能包含算法面试的主要问题和解决方案，可能覆盖上述所有主题，并以中文形式呈现，对于中国求职者来说是非常实用的参考资料。通过深入学习并...
机器学习算法及工程上tricks总结-面试必备
05-23
掌握这些算法不仅可以帮助面试者在面试中脱颖而出，而且在实际工作中也能够应用这些算法解决实际问题。了解算法的工程tricks也同样重要，它们往往能够在算法实施时提高效率、增强模型性能。例如，在KNN中使用kd树...
决策树面试总结
a1272899331的博客
03-03 289
1、概括 顾名思义，决策树就是一棵树，一颗决策树包含一个根节点、若干个内部结点和若干个叶结点；叶结点对应于决策结果，其他每个结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集，从根结点到每个叶子结点的路径对应了一个判定测试序列。 决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得各个子数据集有一个最好的分...
熵，信息增益，信息增益率，Gini
热门推荐
冰枫的随笔
03-29 1万+
话说今天《机器学习》上课被很深地打击了，标名为“数据挖掘”专业的我居然连个信息增益的例子都没能算正确。唉，自看书以来，这个地方就一直没有去推算过，每每看到决策树时看完Entropy就直接跳过后面增益计算了。因而，总想找个时间再回过来好好看一下，这不，被逼上了呢。神奇的墨菲定律呢：你担心它发生的，它就一定会发生。 回正题了，这三个指标均是决策树用来划分属性的时候用到的，其中信息增益（Info
信息熵、条件熵、信息增益率
weixin_67463124的博客
04-14 3351
信息熵、条件熵、信息增益率直观讲解
机器学习---熵，信息增益，信息增益率
weixin_43854256的博客
12-13 2549
熵 熵在信息论中被用来度量信息量，熵越大，所含的有用信息越多，其不确定性也就越大；熵越小，有用信息越少，确定性也就越大。 决策树中，用熵来表示样本集的不纯度，样本集中样本种类越小，确定性越高，熵值越小；样本种类越多，越不确定，熵值越大。 熵例子 设S是数量为n的样本集，其分类属性有n个不同的取值，用来定义m个不同的分类Ci(i=1,2,⋯,m)，则其熵的公式是： 如果有一个大小为10的布尔值样本集Sb，其中有6个真值，4个假值，那么该布尔型样本分类的熵是： 信息增益 计算得到熵作为衡量样本集合不纯度的指
2.2决策树之信息增益率
军军的专栏
02-08 3973
信息增益率 信息增益率计算公式：Gain-ratio=Gain（A）/I G（A）即Gain(S, A)=E(S)–E(S, A)   如下图所示：属性A有五个取值，每个取值对应一个实例，则I（1,1,1,1,1）=-1/5*log(1,5)*5 即：信息增益率的计算在掌握了信息增益的计算的基础上，需要知道分母怎么算，分母的算法与E（S，A）的算法不同，再
决策树原理总结（ID3、C4.5、CART）+ 常见面试问题
A496608119的博客
06-02 2646
系统梳理树类型算法原理加常见面试问题 类容按照决策树、Adaboost、GBDT、XGBoost、LightGBM 顺序进行梳理 本次的重点类容是决策树的CART树 ID3、C4.5介绍请转移到：ID3、C4.5的原理与案例介绍 1. CART树 ID3与C4.5虽然可以通过多叉树尽可能的挖掘特征信息，但是随着数据量的增加，其决策树分支也会大量增多。CART算法的二分法简化了决策树的规模，提高了生成决策树的效率。 1.1 CART分类树实现过程 输入： 训练集D，基尼系数的阈值，切分的最少样本个数阈值.
决策树之ID3、C4.5、C5.0算法
古韦的专栏
08-12 7011
决策树之ID3，说一个例子，就会明白，拿 Tom M .mitchen 的《Machine Learing》第三章中的例子。 我们先解释一下这张表，表中有14条实例数据，就是我们的训练数据，其中 Outlook,Temperature,Humidity ,Wind 称作条件属性，PlayTennis 称作是决策属性(标签)。 每一个属性都有各自的值记做：Value(Outl
算法岗面试知识点总结
Asia-Lee
08-05 3144
目录 一、机器学习知识点 二、深度学习知识点 一、机器学习知识点 1、交叉熵公式，逻辑回归（LR）公式，逻辑回归损失函数，SVM的损失函数 2、逻辑回归（LR）和线性回归的区别 线性回归用来做预测，LR用来做分类；线性回归是来拟合函数，LR是来预测函数；线性回归用最小二乘法来计算参数，LR用最大似然估计来计算参数；线性回归更容易受到异常值的影响，而LR对异常值有较好的稳定性。 3、支...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值