决策树 学习笔记

已于 2022-09-02 22:49:35 修改
阅读量180 收藏
点赞数
分类专栏： 机器学习 文章标签： 决策树 学习 机器学习
于 2021-06-11 01:23:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56594364/article/details/117794481
版权

定义：每个非节点表示一种对样本的分割，通常是选用样本的某一个特征，将样本分散到不同的子节点中

用途：

对未知数据分类

按照决策生成的分割属性逐层往下

方法：

how：选择一个特征设置一个阈值threshold 

目标：分类效果最好

度量方法：信息增益，信息增益率，基尼指数

信息增益/率

分割前的熵值：经验熵     H(D)=\sum_{k=1}^{K}\frac{C_{k}}{D}\log \frac{C_{k}}{D}

分割后的熵值：经验条件熵

基尼指数

执行一个分割的信息增益越大，对样本熵的减少能力越强，不确定变为确定的能力越强

不二txz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习之算法决策树（分类）——通过例子说明信息熵的计算方法
PY_smallH的博客
12-11 5704
决策树采用的是信息熵或者Gini系数来作为分类标准。 信息熵公式： Gini系数公式： 一般构造一个分类器(sklearn.tree.DecisionTreeClassifier)，默认参数criterion有{“gini”, “entropy”}, 其中default=”gini”。这两个计算公式不一样而已。 我在这里计算的是信息熵的公式，另外的一个也都一样，换一个公式而已。 我们在提到概率问题的时候都会有一个前提假设，假设这些变量或者特征都是相互之间没有关系的，就不会存在组合的情况，不然就没办法计算概率
决策树
llwleon的博客
02-01 310
以下是基于python实现的id3决策树： #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Wed Jan 31 16:46:11 2018 @author: llw """ import numpy as np class DecisionTree: ''' ---作用：生成一个决策数类 ---参数说明：
机器学习实验二(拓展)----决策树-python
qq_51729332的博客
11-21 506
实验二前半部分连接传送门原因:传入的列表为空解决办法:在递归传入列表时判断列表是否为空原因:之前设置的阈值太高，第一个节点都生成不了解决办法:调高阈值1.设置决策树的深度能够有效达到预剪枝的效果2.设置阈值的方法中，由于阈值的认为设置，可能导致节点无法生成，在不同数据集上表示可能不相同3.由于我所有数据都为连续型数据，且和时间有关(两个学期的)，不同时间的相似相邻数据可能会使准确率降低。
机器学习-决策树
qq_63974399的博客
08-24 692
机器学习-决策树
高级决策树算法: 最大熵与信息增益
禅与计算机程序设计艺术
12-31 882
1.背景介绍 决策树算法是一种常用的机器学习方法，它通过构建一个类似于人类思维过程的树状结构来进行预测和分类。决策树算法的核心思想是将问题分解为更小的子问题，直到可以进行预测或分类。这种方法在处理不规则的数据和复杂的问题时具有很大的优势。 在本文中，我们将深入探讨高级决策树算法，特别关注最大熵和信息增益的概念，以及如何将它们应用于决策树的构建。我们将涵盖以下主题： 背景介绍 核心概念与联系...
决策树学习笔记.zip
04-25
在机器学习中，决策树是一个预测模型，代表的是对象属性与对象值之间的一种映射关系。 决策树的应用场景非常广泛，包括但不限于以下几个方面： 金融风险评估：决策树可以用于预测客户借款违约概率，帮助银行更好地...
ch04 决策树_学习笔记1
08-03
为了防止过拟合，决策树学习通常会进行剪枝处理： 1. 预剪枝：在生成树的过程中，如果某个节点划分不能带来性能提升，就停止划分，转为叶节点。这减少了过拟合，但也可能导致欠拟合。 2. 后剪枝：先生成完整决策树，...
决策树学习文档
11-05
机器学习入门。决策树学习过程中遇到的问题，记录下来，可以说是学习笔记，希望能给大家带来帮助。由于手写难免会有一些错误察觉不到，广泛讨论，共同进步。
机器学习决策树
12-03
1. **ID3算法**：这是最早的决策树学习算法之一，基于信息熵和信息增益来选择最佳分割特征。信息熵衡量数据集的纯度，信息增益则是通过减少不确定性来度量特征的重要性。 2. **C4.5算法**：ID3的升级版，解决了ID3...
决策树基本概念
m0_55696513的博客
08-29 338
决策树 预测结果易理解，预测速度快，高商业价值的工具 算法原理 图例决定下班后的安排： Q：在创建决策树时要先对哪个特证进行分裂？ A：信息量化！ 信息增益 如何量化信息，一个信息的不确定性越大，要搞清楚这个问题，需要了解的信息就越多，信息熵就越大。 信息熵公式： H(X)=−∑x∈XP(X)log2P(X)H(X)=-∑_{x∈X}P(X)log_2P(X)H(X)=−x∈X∑​P(X)log2​P(X) 单位：bit 回到决策树，遍历所有特征计算信息熵，使用这个特征划分数据集前后的信息熵的变化值，选择
决策树回归（Decision Tree Regression）
最新发布
qq_44133607的博客
07-18 75
决策树回归是一种非参数监督学习方法，用于回归问题。它通过将数据集划分成较小的子集来建立模型，并在这些子集上构建简单的预测模型（通常是恒定值）。
深入理解Scikit-learn：决策树与随机森林算法详解
weixin_41859354的博客
07-14 451
决策树和随机森林是机器学习中的两种强大算法。决策树通过学习数据特征与标签之间的规则来进行预测，而随机森林则是由多棵决策树组成的集成算法，能有效提高模型的稳定性和准确性。决策树和随机森林各有优缺点。决策树简单易理解，但容易过拟合；随机森林通过集成多棵决策树提高了模型的稳定性和泛化能力。通过上述步骤，我们可以看到在相同的数据集上，随机森林通常比单棵决策树表现更好。
决策树（ID3,C4.5,C5.0,CART算法）以及条件推理决策树R语言实现
2301_76574743的博客
07-15 380
【代码】决策树（ID3,C4.5,C5.0,CART算法）以及条件推理决策树R语言实现。
AI算法22-决策树算法Decision Tree | DT
yangguangjiujiu99的专栏
07-18 423
我们在日常生活中经常会遇到一些选择需要去做一些选择，比如我们在找工作的时候每个人都希望能找到一个好的工作，但是公司那么多，工作种类那么多，什么样的工作才能算是好工作，这个时候就需要我们对众多的工作去做一个判断。最常用的一种方法就是制定几个可以衡量工作好坏的指标，比如公司所处的行业是什么、应聘的岗位是什么、投资人是谁、薪酬待遇怎么样等等。
2024Datawhale AI夏令营---基于术语词典干预的机器翻译挑战赛--学习笔记
weixin_61573157的博客
07-15 1063
机器翻译（Machine Translation，简称MT）是自然语言处理领域的一个重要分支，其目标是将一种语言的文本自动转换为另一种语言的文本。机器翻译的发展可以追溯到20世纪50年代，经历了从基于规则的方法、统计方法到深度学习方法的演变过程。当前，机器翻译正朝着更加智能化和个性化方向发展。一方面，结合上下文理解、情感分析等技术，提高翻译的准确性和自然度；另一方面，通过用户反馈和个性化学习，提供更加符合用户需求的翻译服务。同时，跨语言信息检索、多模态翻译等新兴领域也正在成为研究热点。
昇思25天学习打卡营第14天|LLM-文本解码原理--以MindNLP为例
wwt72的博客
07-17 576
限制输出序列的最大长度为50个token。top-p=0.95，top-p采样表示在每一步生成token时，只从概率分布中累计概率达到95%的token中进行采样，有助于保持生成文本的流畅性和质量，同时允许一些低概率的token被选中，从而增加多样性。表示禁用了top-k采样，因为在top-k采样中，通常是从概率最高的k个token中随机选择一个token作为下一个输出，而这里设置为0表示不限制token的选择，实际上这将等同于使用 softmax 概率分布直接进行采样。这有助于提高生成文本的多样性。
NumPy库学习之np.random.rand函数
qq_46396470的博客
07-15 296
是 NumPy 库中的一个函数，用于生成随机数。这些随机数是从均匀分布 [0, 1) 中抽取的，即每个数都在0到1之间，但不包括1。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值