李航 统计学习方法 例5.4 使用CART算法生成分类决策树

最新推荐文章于 2023-09-12 20:04:27 发布
VIP文章 最新推荐文章于 2023-09-12 20:04:27 发布
阅读量1.3k 收藏 5
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40230767/article/details/79086017
版权

本程序采用CART算法实现分类决策树，具体理论部分参照李航统计学习方法决策树一章，实践操作参照机器学习实战决策树生成部分。

from numpy import *

def creatDataSet():
    dataset=[['青年','否','否','一般','否'],
             ['青年','否','否','好','否'],
             ['青年','是','否','好','是'],
             ['青年','是','是','一般','是'],
             ['青年','否','否','一般','否'],
             ['中年','否','否','一般','否'],
             ['中年','否','否','好','否'],
             ['中年','是','是','好'
最低0.47元/天 解锁文章
only卉
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
手写实现李航《统计学习方法》书中全部算法.zip
07-04
手写实现李航《统计学习方法》书中全部算法.zip
2012李航统计学习方法带目录
01-09
2012李航统计学习方法带目录
李航 统计学习方法 kd树实现
09-29
kd树(K-dimension tree)是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。kd树是是一种二叉树，表示对k维空间的一个划分，构造kd树相当于不断地用垂直于坐标轴的超平面将K维空间切分，构成一系列的K维超矩形区域。kd树的每个结点对应于一个k维超矩形区域。利用kd树可以省去对大部分数据点的搜索，从而减少搜索的计算量。
Datawhale统计学习方法打卡Task05
tangxianyu的博客
02-27 745
分类决策树模型是一种描述对实例进行分类的树形结构。决策树由节点（node）和有向边（directed edge）组成。结点有两种类型：内部结点和叶节点。内部结点表示一个特征或属性，叶节点表示一个类。用决策树分类，从根节点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到子节点；这是每一个子节点对应着该特征的一个取值。如此递归的对顺利进行测试并分配，指导达到叶节点。最后将实例分到叶节点的类中。
决策树一CART算法（第二部分）
躺平yyds的博客
05-09 1129
CART分类树算法 CART分类树算法解读 输入：数据集 D，特征集 A，停止条件阈值ϵ\epsilonϵ 输出：CART分类决策树 步骤： 从根节点出发，进行操作，构建操作二叉树 计算现有特征下对数据集 基尼指数，选择最优特征。 ——在特征Ag下，对其可能取的每个值g,根据样本点对Ag=g的测试为“是”我“否”， 将D分制成D1和D2两部分，计算Ag=g时的基尼指数。 ——选择基尼指数最小的那个值作为该特征下的最优切分点。 ——计算每个特征下的最优切分点，并比较在最优切分下的每个特征的基尼
CART决策树算法Python实现 （人工智能导论作业）
m0_63323795的博客
11-13 2358
决策树是以树的结构将决策或者分类过程展现出来，其目的是根据若干输入变量的值构造出一个相适应的模型，来预测输出变量的值。预测变量为离散型时，为分类树；连续型时，为回归树。算法简介ID3使用信息增益作为分类标准 ，处理离散数据，仅适用于分类树。CART使用基尼系数作为分类标准，离散、连续数据均可，适用于分类树，回归树。C4.5使用信息增益和增益率相结合作为分类标准，离散、连续数据均可，但效率较低，适用于分类树C5.0是C4.5用于大数据集的拓展，效率较高。
李航老师《统计学习方法》第二版第五章决策树课后答案
qq_41626059的博客
04-18 7084
1、根据表5.1所给的训练数据集，利用信息增益比（C4.5算法）生成决策树。 解： 下面先给出计算信息增益比的程序，并且输出最好的特征 import numpy as np def info_ratio(D, Y, n): ''' 计算信息增益比 Parameters ---------- D : numpy array 训练数据集. Returns ------- 最优特征. ''' #下面开始修正数据
统计学习方法 第五章 课后习题
qq_26954059的博客
04-09 1587
5.1 根据表5.1所给的训练数据集，利用信息增益比（C4.5算法）生成决策树 DTree.py实现了ID3、C4.5做树，而CART只是实现计算Gini肯尼指数，没实现做树，步骤是一样的，我进度拖得比较慢，就没有实现，基本上可以套用。你们也可直接计算下，我计算过一遍然后在直接写代码 # -*- coding: utf-8 -*- import math C45_Flag = True#算法...
《统计学习方法》笔记--CART算法
weixin_40029703的博客
12-24 503
  分类与回归树（classification and regression tree, CART），既可以用于分类也可以用于回归。它是在给定输入随机变量XXX条件下输出随机变量YYY的条件概率分布的学习方法。CART 假设决策树时二叉树，内部结点特征的取值为“是”和“否，左分支是取值为“是”的分支，右分支为“否”的分支。这样的决策树等价于递归地二分每个特征，将输入空间（特征空间）划分为有限个单元，并在这些单元上确定预测的概率分布，也就是给定条件下输出的条件概率分布。   CART算法由以下两步组成： 决
《统计学习方法》笔记——决策树（二）：CART
jasmine0244的专栏
02-23 229
CART算法   CART（分类与回归树）是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。   CART假设决策树是二叉树，内部结点特征的取值是“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。   这样的决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限个单元，并在这些单元上确定预测的概率分布，也就是在输入给定的条件下输出条件概率分布。   CART算法由以下两步组成： （1）决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大； （2）决策树剪
matlab实现决策树cart算法
02-08
这是一个使用matlab来实现决策树cart的算法。
李航《统计学习方法》第2版算法代码.zip
08-01
李航《统计学习方法》第2版算法代码.zip
决策树思想与Python实现：CART
韶光
11-25 5425
一、决策树 决策树（decision tree）是一种基本的分类与回归方法。一般情况下，回归方法可以转换为分类方法，因此，本文主要讨论用于分类的决策树。 决策树在分类问题中，表示基于特征对实例进行分类的过程。主要优点是模型具有可读性，分类速度快。 决策树包含3个步骤：特征选择、决策树的生成、决策树的修剪。在此文中，只讨论前面两个步骤。 决策树学习的算法通常是一个递归地选择最优特征，并根据该...
机器学习与算法（13）--分类和回归树（CART）
mensyne的博客
03-04 4169
分类和回归树（CART） 转自http://blog.csdn.net/baimafujinji/article/details/53269040 算法步骤 CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地...
机器学习之——CART决策树算法
AI_dataloads的博客
09-12 1722
CART（Classification And Regression Trees 分类回归树）算法是一种树构建算法，既可以用于分类任务，又可以用于回归。相比于 ID3 和 C4.5 只能用于离散型数据且只能用于分类任务，CART 算法的适用面要广得多，既可用于离散型数据，又可以处理连续型数据，并且分类和回归任务都能处理。
决策树一CART算法(第一部分)
躺平yyds的博客
05-09 1943
决策树一CART算法(第一部分) CART算法简介 CART算法是机器学习十大算法之一，这个方法的创始人Leo Breiman CART算法展开就是Classification and Regression Tree，对应的就是分类与回归树，用树 形结构来解决分类和回归的问题。 如果输出变量是离散的，对应的就是分类问题。 如果输出变量是连续的，对应的就是回归问题。 CART算法分为三步走：选择特征、生成决策树、剪枝 在CART算法中，树形结构是二叉树模型，通常左边为「是 」，右 边为
Python 数据处理数据挖掘（六）：决策树模型 之 CART算法
qq_46380784的博客
07-21 2931
基尼系数，分类/回归决策树，TPR,FPR,ROC,AUC, Gridsearch，k折交叉验证
华为OD机试D卷 - 用连续自然数之和来表达整数 - 免费看解析和代码.html
最新发布
05-10
私信博主免费获取真题解析以及代码
李航统计学习决策树例8.1
08-23
李航《统计学习方法》中的决策树例8.1是关于AdaBoost算法的应用。在这个例子中，题目要求使用决策树桩作为弱分类器，并用AdaBoost算法学习一个强分类器。具体的步骤如下： 1. 初始化样本权重：首先，将所有样本的权重初始化为相等值。 2. 迭代训练：进行多轮迭代，每轮迭代中，都按照以下步骤进行： a. 训练弱分类器：根据当前样本的权重，使用决策树桩作为弱分类器进行训练。决策树桩是一种简单的决策树模型，只有一个分裂节点，用来进行二分类。 b. 计算分类误差率：使用训练好的弱分类器对所有样本进行分类，并计算分类误差率。分类误差率是被错误分类样本的权重之和。 c. 更新样本权重：根据分类误差率，更新样本权重，使得被错误分类样本的权重增加，被正确分类样本的权重减少。 d. 计算弱分类器的权重：根据分类误差率，计算当前弱分类器的权重。分类误差率越小，对应的弱分类器权重越大。 e. 更新样本权重：根据弱分类器的权重，更新样本权重，使得被正确分类样本的权重减少。 3. 构建强分类器：将训练得到的所有弱分类器按照权重进行加权组合，得到一个强分类器。 这就是李航《统计学习方法》决策树例8.1的主要步骤。通过使用AdaBoost算法，可以将多个弱分类器组合成一个强分类器，提高整体的分类性能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [李航《统计学习方法》习题8.1（用CART作弱分类器）](https://blog.csdn.net/elloworl/article/details/103553560)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [em算法代码matlab实现-BasicMLAlgs:基础机器学习算法实现，以李航博士的《统计学习方法》为蓝本](https://download.csdn.net/download/weixin_38724154/19049711)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值