统计学习--04决策树

最新推荐文章于 2024-04-23 09:46:42 发布
最新推荐文章于 2024-04-23 09:46:42 发布
阅读量232 收藏
点赞数
分类专栏： 机器学习 文章标签： 决策树 学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YUNFEIYAHG/article/details/124509098
版权

决策树是一种树模型，可以看成 一个 if-then 规则的集合，属于生成模型
决策树学习通常包括3个步骤：特征选择，决策树的生成和修剪
决策树学习本质上是从训练数据中归纳出一组分类规则

策略

决策树的选择策略要用到熵
熵 S 最初来源于物理学，其物理意义是体系混乱程度的度量，定义如下：在这里插入图片描述
在信息论和概率统计中，熵表示随机变量不确定性的度量，在这里可以理解为‘纯度’
在这里插入图片描述
信息熵可以看成损失函数，特征的选择则是要使模型的信息熵减小（信息增益最大），通过划分使样本集合越来越纯
在这里插入图片描述

算法

决策树生成算法介绍以下3种：

  • ID3：使用信息增益来选择特征
  • C4.5： 使用信息增益比
  • CART： 使用基尼指数

剪枝

为了防止过拟合，需要进行剪枝，同时要拿验证集判断是否剪枝
分为预剪枝 和 后剪枝
在这里插入图片描述

FlitDu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
西瓜书《机器学习》---第四章 决策树python代码实现
06-21
【对应博客内本章内容】 ...4.6 选择4个UCI数据集，对上述2种算法产生的未剪枝，预剪枝，后剪枝的决策树进行实验比较，并进行适当的统计显著性检验。 原文链接：https://blog.csdn.net/m0_46345193/article/details/
【scikit-learn】决策树
12-23 2250
目录决策树决策树的分类相关概念决策树的构造特征选择：决策树的生成：决策树的裁剪决策树的优缺点优点缺点决策树生成算法以ID3算法为例实战 决策树 决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一颗熵值下降最快的树，到叶子节点处，熵值为0。是一种有监督学习。决策树呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型；预测时，对新的数据，利用决策模型进行分类。 决策树的分类 决策树可以分为两类，主要取决于它目标变量的类型。
机器学习-决策树算法
LI_dreamit的博客
09-12 2633
概念： 是一种树形结构，本质是一颗由多个判断节点组成的树 其中每个内部节点表示一个属性上的判断， 每个分支代表一个判断结果的输出， 最后每个叶节点代表一种分类结果。 通过分析可知： 决策树是非参数学习算法 决策树可以解决分类问题 决策树天然可以解决多分类问题 决策树可以解决回归问题：落在叶子节点(对应图中的A、B、C三点)的数据的平均值作为回归的结果 决策树可以应用于信用卡评级的案例中,生成相应的分类规则。 1、熵 定义 熵在信息论中代表随机变量不确定度的度量。 熵越大，数据
机器学习---决策树算法
Elvis__c的博客
12-13 2520
简单理解决策树 决策树算法 学习目标 掌握决策树实现过程 知道信息熵的公式以及作用 知道信息增益、信息增益率和基尼指数的作用 知道id3,c4.5，cart算法的区别 了解cart剪枝的作用 知道特征提取的作用 应用DecisionTreeClassifier实现决策树分类 决策树算法简介 学习目标 知道什么是决策树 决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法 决策树：是一种树形结构，其中每个内部节点表示一个属性
西瓜书学习笔记---第四章 决策树
m0_46345193的博客
06-21 5597
西瓜书学习笔记--第四章 决策树 4.3编程实现基于信息熵进行划分选择的决策树算法，并为西瓜数据集3.0中的数据生成一颗决策树。 4.4编程实现基于基尼指数进行划分选择的决策树算法，为西瓜数据集2.0生成预剪枝、后剪枝决策树，并与未剪枝决策树进行比较。 4.6选择4个UCI数据集，对上述2种算法产生的未剪枝，预剪枝，后剪枝的决策树进行实验比较，并进行适当的统计显著性检验。.........
【机器学习实战】3、决策树
热门推荐
呆呆的猫的博客
03-13 35万+
(声明：本文内容来自机器学习实战和统计学习方法，是两者的整合，并非来自单个书籍）决策树（decision tree）：是一种基本的分类与回归方法，此处主要讨论分类的决策树。在分类问题中，表示基于特征对实例进行分类的过程，可以认为是if-then的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。决策树通常有三个步骤：特征选择、决策树的生成、决策树的修剪。用决策树分类：从根节点开始，对实例的某一特征进行测试，根据测试结果将实例分配到其子节点，此时每个子节点对应着该特征的一个取值，如此递归的对实例进行测
机器学习之鸢尾花-决策树
03-21
决策树莺尾花Decision Trees (DTs) 是一种用来 classification 和 regression 的无参监督学习方法。其目的是创建一种模型从数据特征中学习简单的决策规则来预测一个目标变量的值。 决策树的优势: 便于理解和解释。...
统计学习方法-李航
09-01
本书全面系统地介绍了统计学习的主要方法，特别是监督学习方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、em算法、隐马尔可夫模型和条件随机场等。除第1章概论...
Andrew Ng机器学习笔记（一）
FlitDu的博客
09-02 3466
第一篇博客，很有纪念意义，献给让人激动人心的ML，也感谢吴恩达老师的精彩讲解。1.机器学习的定义 假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，，改程序对E进行了学习。 —— [ Mitchell,1997 ] 2.机器学习算法分类 supervised learning ：我们教计算机如何做事情 unsuper
统计学习--01感知机
FlitDu的博客
04-25 1392
感知机属于线性分类模型，1957年由Rosenblatt提出，可以看成单层的神经网络。 感知机虽然简单，但是其工作原理、模型选择方式，仍然适用于后来复杂的神经网络如CNN,RNN等身上。从进化角度说，感知机可能相当于草履虫，但是我们如今地球上复杂的高等生物不也是从低等生物上慢慢进化来的么。 模型结构 学习方法 损失函数 L 为误分类点到超平面的距离 L(w,b)=−Σyi(w∗xi+b)L(w, b) = -\Sigma{y_{i}(w*x_{i} + b)}L(w,b)=−Σyi​(w∗xi​+b)
Andrew Ng机器学习笔记（二）
FlitDu的博客
09-08 668
4.多元线性回归对于多元回归，道理同之前讲述的一样，要引入线性代数表达。此时，可视化描述已经不可能了。现在的假设函数变为： hθ(x)=θ0+θ1xh_\theta(x)=\theta_0+\theta_1x ———> hθ(x)=θ0+θ1x1+θ2x2+...θnxnh_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+...\theta_nx_n为了方便
Andrew Ng机器学习笔记（三）
FlitDu的博客
09-12 460
5.matlab教程原始视频使用的是Octave语言，与matlab很类似，这里用它代替。函数路径问题： 定义一个函数，squaresquare，求得是数值的平方。运行结果正确。输入“pwd”，显示当前的函数路径。使用“cd”，修改路径后，发现函数运行不能显示正确结果。那么可以考虑，使用’addpath’命令，则函数可以正常运行。当然，这里说的东西主要是通过在命令窗口输入命令来使函数正常运行。
统计学习--03 朴素贝叶斯
FlitDu的博客
04-29 196
贝叶斯
统计学习--0.开篇词
FlitDu的博客
04-12 87
李航博士的《统计学习》一书，早有耳闻，今天开始拜读，记录每章之所感 优先采用pytorch实现 特开此专栏 统计学习–01感知机 统计学习–02k近邻 统计学习–03 朴素贝叶斯
统计学习--02 KNN
FlitDu的博客
04-29 61
k近邻 是一种快速分类方法，没有显式的学习过程 其思想类似于俗语”物以类聚，人以群分“，想知道一个人如何，那么可以从他经常打交道的人群间接得知。 k近邻分类也是这样： 在NLP中计算词向量时候，也有一个分布式假设：一个词的意思可以由它周边的词表示，与KNN 可以说是有异曲同工之妙 a word is characterized by the company it keeps" 为了提高搜索效率(避免O(N))，knn 在实现上，一般用kd树来实现 kd 树 注意，k是维度的意思 提到快速搜索，在一维
机器学习｜决策树｜Gini指数和熵的区别｜简单示例
最新发布
公众号：快乐变态屋 漂亮大男孩的罗德岛
04-23 584
在决策树模型中，Gini指数和熵（Entropy）是用来计算节点纯度的两种方法。它们都是评估分裂点的好坏，以选择最佳的属性来分裂。
Vitis HLS 学习笔记--优化指令-ARRAY_PARTITION
hi94的博客
04-22 1293
ARRAY_PARTITION 指令中非常重要，它用于优化数组的存储和访问。该指令可以将一个大数组分割成多个小数组，以提高并行处理能力和减少访问延迟。
软件设计师软考中项学习（二）之计算机系统基础知识
寻至善的博客
04-20 548
通过学习🔥了解了计算机系统基础知识🔥学习了计算机基础、中央处理单元、数据表示🔥学会了CPU工作原理各进制的转换
李航统计学习决策树例5.3
08-23
李航的统计学习决策树例5.3是关于决策树生成和特征选择的例子。在该例子中，主要使用了ID3生成算法和信息增益准则来选择特征和构建决策树。首先，确定损失函数为正则化的极大似然估计，最小化损失函数，然后使用ID3...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值