吃瓜笔记---第四章 决策树

已于 2022-10-20 10:31:18 修改
阅读量249 收藏
点赞数
文章标签： 决策树 算法 机器学习
于 2022-10-19 21:27:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/deeplearningcc/article/details/127395352
版权
机器学习之决策树
摘要由CSDN通过智能技术生成

注：本文只是本人阅读西瓜书及南瓜书的阅读笔记和心得，可能只有自己能看懂，鉴于本人水平有限，有极大可能出现错误，欢迎读者批评指正 

        决策树的学习通常包括3个部分：特征选择、决策树的生成、决策树的修剪

1、信息增益

自信息：I(x)=-log_bp(x) 

自信息期望：H(x)=E(I(x))=-\sum_{x}^{}p(x)log_bp(x)  离散情况

                      H(x)=(I(x))=-\int _xp(x)log_bp(x)      连续情况

信息熵(information entroy) :

Ent(D)=-\sum_{k=1}^{|y|}p_klog_2p_k

     信息熵就是自信息的期望࿰

最低0.47元/天 解锁文章
deeplearningcc
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
吃瓜笔记--西瓜书学习笔记第四章决策树
qq_43458346的博客
07-22 273
第四章：决策树 4.1 基本流程 4.1.1 决策树的结构 4.1.2 决策树学习基本算法 4.2 划分选择 4.2.1 决策树学习的关键 4.2.2 信息增益(information gain) 信息熵 属性a的信息增益Gain(D,a)Gain(D,a)Gain(D,a) 4.2.3 增益率(gain ratio) 4.2.4 基尼指数(Gini index) 基尼值 基尼指数(Gini index) 4.3 剪枝处理（决策树对付过拟合的主要手段） 4.3.1 预剪枝(prepruning) 4.3.2
吃瓜学习笔记 - 决策树
xiaoyilisa的博客
12-21 1102
若样本x在划分属性a上的取值已知，则将x划入与其取值对应的子结点，且样本权值在子结点中保持为w(x)。若样本x在划分属性a上的取值未知，则将x同时划入所有子结点，且样本权重在于属性值a(v)对应的子结点中调整为。从训练集生成一棵完整的决策树，然后自底向上对非叶结点进行考察，若将该结点对应的子树替换为叶节点能带来决策树泛化性能的提升，则将该子树替换为叶节点。是在决策树生成过程中，对每个节点在划分前先进行评估，若当前节点的划分不能顾戴路决策树泛化性能的提升，则停止划分并将当前节点标记为叶节点。
吃瓜笔记 第4章-决策树
ListeningK的博客
12-21 1218
西瓜书第四章的不完全笔记
西瓜书学习笔记---第四章 决策树
m0_46345193的博客
06-21 5800
西瓜书学习笔记--第四章 决策树 4.3编程实现基于信息熵进行划分选择的决策树算法，并为西瓜数据集3.0中的数据生成一颗决策树。 4.4编程实现基于基尼指数进行划分选择的决策树算法，为西瓜数据集2.0生成预剪枝、后剪枝决策树，并与未剪枝决策树进行比较。 4.6选择4个UCI数据集，对上述2种算法产生的未剪枝，预剪枝，后剪枝的决策树进行实验比较，并进行适当的统计显著性检验。.........
Datawhale学习笔记-吃瓜笔记：决策树
JeffDing
01-19 586
决策树 基本流程 决策树是一类常见的机器学习方法，以二分类任务为例，我们希望从给定训练数据集学得一个模型用以对新示例进行分类，这个把样本分类的任务，可看作对“当前样本属于正类吗？”这个问题的“决策”或“判定”过程，顾名思义，决策树是基于树结构来进行决策的，这恰是人类在面临决策问题时的一种很自然的处理机制。 决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种
吃瓜笔记（第四章 决策树）
weixin_74416623的博客
12-21 435
缺失值的处理：需要解决两个问题，在属性值缺失的情况下怎么进行划分属性选择？给定了划分属性，若样本在该属性上的值缺失，如何对样本划分？由于决策树在划分节点的过程中不断产生分支，分支过多会产生过拟合，所以需要减去分支。预剪枝是指在决策树生成过程中，对每个结点在划分前进行评估，再决定需不需要划分。决策树学习的目的是：产生一棵泛化能力强的决策树，流程遵循“分而治之”的策略。PS：一般情况下，根节点包含所有样本数据，越往下划分样本越少，纯度越高。决策树的生成是对训练集中的样本进行划分，划分的属性应是最优划分属性。
机器学习吃瓜笔记第四章：决策树
kewei chen
01-20 1233
第四章 决策树 4.1 基本流程 基本概念 决策树是基于树结构来进行决策的 决策树的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树，其基本流程遵循简单且直观的“分而治之”（divide-and-conquer）策略 西瓜例子 构建流程 决策过程的最终结论对应了我们所希望的判定结果 决策过程中提出的每个判定问题都是对某个属性的“测试” 每个测试的结果或是导出最终结论，或是导出进一步的判定问题，其考虑范围是上次决策结果的下定范围之内 树的组成 一个根结点 若干个内部结点 若干个叶结点 叶
机器学习吃瓜（西瓜、南瓜书）笔记 task03-第四章决策树
weixin_37734833的博客
07-22 593
文章目录1. 算法原理2. ID3决策树3. C4.5决策树4. CART决策树 1. 算法原理 逻辑角度：一堆if-else的组合（一堆判断 核心在于判断条件） 几何角度：特征空间，找划分点 最终目的：将样本约分越“纯”——信息熵度量纯度 2. ID3决策树 自信息 I(X)=−log2P(x)I(X)=-log_{2}P(x)I(X)=−log2​P(x) 信息熵-自信息的期望，概率*自信息值 以离散型为例： H(X)=E[I(X)]=−∑xPlog2P(x)H(X)=E[I(X)]=-\sum_{x
吃瓜笔记03：【西瓜书+南瓜书】第4章 决策树
WH_Z0v0的博客
07-31 144
决策树学习的本质是从训练数据集中归纳出一组分类规则，这种决策规则有可能一个也没有，也可能有很多个，这时候需要选择一个与数据集矛盾较小的决策树规则，同时又需要很好的泛化效果。，在每一个中间结点寻找划分属性，递归重要的是设置。决策树是一个由根到叶的。
数据模型与决策-第14章.pdf
05-07
数据模型与决策-第14章.pdf数据模型与决策-第14章.pdf数据模型与决策-第14章.pdf数据模型与决策-第14章.pdf数据模型与决策-第14章.pdf
安卓第二天笔记--数据保存
02-26
}932次浏览 评价：好中差  android人机界面指南Android手机开发（一）Android手机开发（二）Android手机开发（三）Android手机开发（四）iPhone消息推送机制实现探讨手机软件测试用例设计实践手机客户端UI...
冰河的渗透实战笔记-冰河.pdf
05-18
冰河整理的全网首个开源的以实战案例为背景的渗透实战笔记，全书共442页，共计37万字（不计空格）。整本书的内容涵盖：Kali基础、渗透工具、木马制作、钓鱼链接生成、爆破密码、内存溢出攻击、web渗透、数据提权、...
《技术人的管理之路》读书笔记 -思维导图
04-19
《技术人的管理之路》读书笔记 --思维导图 《技术人的管理之路》读书笔记 --思维导图 《技术人的管理之路》读书笔记 --思维导图 《技术人的管理之路》读书笔记 --思维导图 《技术人的管理之路》读书笔记 --思维导图 ...
决策树构建精要：算法步骤与实现细节
最新发布
2401_85639015的博客
07-09 652
决策树是一种强大的机器学习算法，用于分类和回归问题。下面将详细介绍决策树的构建流程和具体步骤，帮助您理解并实现决策树算法。
游戏AI的创造思路-技术基础-决策树（1）
warghostwu的博客
07-08 704
决策树算法是一种常用的机器学习算法，它通过递归地选择最佳特征来对数据进行分类或回归。决策树由节点和有向边组成，内部节点表示一个特征或属性，叶节点表示分类或回归的结果。在游戏AI中，决策树可以帮助NPC更智能地做出决策，提高游戏的趣味性和挑战性。决策树是一种基于树结构的决策模型，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。
【ai】决策树
突围
07-08 138
使用scikit-learn库创建了一个决策树分类器，并进行了训练和预测。通过这种方式，可以直观地理解决策树的工作原理及其在分类任务中的应用。
游戏AI的创造思路-技术基础-决策树（2）
warghostwu的博客
07-08 851
决策树应用的实际例子
昇思25天学习打卡营第3天|MindSpore张量
wwt72的博客
07-07 1244
说明：本次打卡因远程notebook无法打卡，本地运行，本地安装都是python3.10以上的环境，安装mindspore时发现没有适配的版本，新建python3.9环境后可正常安装，算是一个版本的问题记录吧。shape 支持传入 list、tuple、 int。1）支持的数据类型有Tensor、float、int、bool、tuple、list、numpy.adarray。算数运算、线性代数、矩阵处理（转置、标引、切片）、采样等。此种表示方式更直接，但是目前仅仅支持二维矩阵，类定义头如下。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值