Task4 - 学习决策树对缺失值的处理和剪枝

最新推荐文章于 2022-08-13 11:52:46 发布
最新推荐文章于 2022-08-13 11:52:46 发布
阅读量581 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dujiahei/article/details/86551425
版权

 

任务4：参考自己较为喜欢的课本（如西瓜书），理解决策树对缺失值的处理和剪枝（使用ID3算法建树）。完成下面的作业（可见西瓜书第86页，该内容也放到了QQ群，）：

另外，总结两种不同方式剪枝的过程和优缺点。并查找sklearn采用的是哪种剪枝方式。

时间：1天。

学习ing

dujiahei
关注
机器学习_西瓜书_C4决策树
d1596324的博客
07-21 467
西瓜书+南瓜书: 第四章_决策树.
Datawhale 决策树与集成学习 Task01 决策树
weixin_46121449的博客
10-14 247
练习题： 知识回顾 1. ID3、C4.5与CART算法之间有什么异同 算法 异同 ID3 其核心是在决策树的各级节点上，使用信息增益方法的选择标准，来帮助确定生产每个节点时所对应采用的合适属性， 不能自动分箱， 不能剪枝。 C4.5 相对于ID3改进是使用信息增益率来选择节点属性。 克服ID3点不足： ID3只适用于离散的描述属性； C4.5可以处理连续和离散属性； 可以剪枝。 CART 通过构建树、修剪树、评估树来构建一个二叉树。 通过控制树的结构来控制模型： 当终节点是
决策树缺失值处理
01-07
决策树 1.决策树缺失值处理 1.1对于训练模型，训练数据部分样本的部分特征值缺失的情况下，做法是：把该数据按比例分成三份数据。可以算出该特征的信息增益。 1.2对于预测数据，C4.5中采用的方法是：测试样本在该属性值上有缺失值，那么就同时探查（计算）所有分支，然后算每个类别的概率，取概率最大的类别赋值给该样本。 1.3测试样本属性也有缺失值那要怎么办？ 有论文里讨论过： 2.决策树应用的案例： import csv from sklearn.feature_extraction import DictVectorizer from sklearn import preprocessing
决策树（decision tree）——缺失值处理
Miracle.Zhao的博客
06-22 5717
现实生活中的数据集中的样本通常在某系属性上是缺失的，如果属性值缺失的样本数量比较少，我们可以直接简单粗暴的把不完备的样本删除掉，但是如果有大量的样本都有属性值的缺失，那么就不能简单地删除，因为这样删除了大量的样本，对于机器学习模型而言损失了大量有用的信息，训练出来的模型性能会受到影响。这篇博客就来介绍在决策树中是如何处理属性值有缺失的样本的，本篇博客使用的数据集如下（数据集来自周志华《机器学习》）...
决策树缺失值的处理
AcceptedLin的博客
07-18 6448
1. 连续值如何划分？ 离散化，二分法 C4.5：Information Gain （Ratio） based Threshold t CART：遍历所有输入变量j 和切分点s，根据最小化平方误差准则选取； 2. 是否能够处理Missing值？ 如果能， 是如何处理的？ 不能处理: -- 插值法（Imputation）： QUEST, CRUISE 替代法（Alternate/Surr...
决策树-缺失值处理
weixin_30535043的博客
02-28 363
缺失值算是决策树里处理起来比较麻烦的了，其他简单的我就不发布了。 # encoding:utf-8 from __future__ import division __author__ = 'HP' import copy import math import numpy as np import pandas as pd from collections im...
决策树、RF、xgboost如何处理缺失值？判断特征重要性？缺失值不敏感？
Rnan_prince的博客
08-13 2万+
1.随机森林模型怎么处理异常值? 隨机森:林是已故统计学家Leo Breiman提出的，和gradient boosted tree—样，它的基模型是决策树。在介绍RF时，Breiman就提出两种解决缺失值的方去 (Random forests - classification description): 方法1(快速简草但效果差)： 把数值型变畺(numerical variables)中...
阿里云天池学习赛【金融风控-贷款违约预测】task4
weixin_41598761的博客
09-24 1105
零基础入门金融风控-贷款违约预测TASK 44.建模以及调参4.1逻辑回归模型4.2决策树4.3集成方法4.3.1分类4.3.2 boosting4.3.3 bagging4.3.4 stacking4.4 数据集划分4.5 建模 4.建模以及调参 4.1逻辑回归模型 1.逻辑回归算法的名字里虽然带有“回归”二字，但实际上逻辑回归算法是用来解决分类问题的。 简单来说， 逻辑回归（Logistic Regression）是一种用于解决==二分类==（0 or 1)问题的机器学习方法， 用于估计某种事物
Task02 基于决策树的分类预测
qq_33253721的博客
08-21 1137
1决策树的介绍和应用 决策树的核心思想是基于树结构对数据进行划分： 1.1 决策树的主要优点： （1） 具有很好的解释性，模型可以生成可以理解的规则。 何为可解释性？即模型逻辑/预测结果多大程度上是人类可以理解的，也就是说我们能够理解一个模型的整个逻辑，并遵循整个推理导致所有不同的可能结果。 （2）可以发现特征的重要程度。 特征的重要程度，比如我们如何知道根节点需要选择“有房”这个属性，而不是其他的“有车”“有存款”等等？数学上有一种方法就是信息熵。整个过程的描述有点复杂，可以查看链接: link.除了信
决策树（ID3、C4.5、CART）算法——机器学习入门
sinat_41401464的博客
08-11 327
task3 文章目录task3信息论基础决策树算法回归树原理决策树防止过拟合手段模型评估sklearn参数详解，Python绘制决策树 信息论基础 熵： H(X)=−∑i=1npilog⁡pi \mathrm{H}(\mathrm{X})=-\sum_{\mathrm{i}=1}^{n} p_{i} \log p_{i} H(X)=−i=1∑n​pi​logpi​ 联合熵： H(X,Y)=...
【机器学习】决策树为什么对缺失值不敏感，如何处理缺失值？
BetterBench的博客
08-13 1726
把缺失的样本，按照无缺失的样本被划分的子集样本个数的相对比率，分配到各个子集上去，至于那 些缺失样本分到子集1，哪些样本分配到子集2，这个没有一定准则，可以随机而动。（3）计算信息增益率时根据缺失率的大小对信息增益率进行打折，例如计算属性A的信息增益率，若属性 A的缺失率为0.9，则将信息增益率乘以0.9作为最终的信息增益率。（2）把待分类的样本的属性A分配一个最常出现的值，然后进行分支预测。（3）把缺失的样本分配给所有的子集，也就是每个子集都有缺失的样本。（1）如果有单独的缺失值分支，依据此分支。...
决策树的剪枝和连续值，缺失值处理
Alchemist的博客
09-23 296
剪枝 预剪枝：在使用训练集生成时，如果划分不能带来泛化性能的提升（验证集），就将其标注为叶结点。可能会导致欠拟合。 后剪枝：从训练集生成完整的决策树后自底向上来看将子树变成叶结点会不会增加泛化能力。性能优，计算量大。 连续值 二分法。用过的属性可以继续用。 缺失值 （1）如何划分？ 分析每一个属性的信息增益时，忽略对于这个属性的缺失部分，乘以系数ρ。（无缺失...
（一）CART分类树（不包含剪枝和缺失值处理）
Lee_Yu_Rui的博客
07-10 671
CART 是决策树中的一种，特征的分割选择是基于Gini系数实现的，每次采用二分类的形式，计算所有可能的二分类的基尼系数增量，从而确定其分割特征，因为不能一次将一个特征中的全部属性都分割完，所以可能出现不同节点是一个特征的情况，只是特征的分类值不同。Python自带的决策树是CART二分类树，但是不能处理离散数据，需要进行NLP转换成数字才能处理，本文通过每个特征的属性个数，将特征分为连续属性（属性个数大于10）和离散属性，可同时对其进行操作，过程中只进行了预剪枝的操作。后剪枝以及缺失值的处理在下一篇文章中
机器学习缺失值处理实例——加州housing数据集
weixin_44050750的博客
08-06 4252
这里写自定义目录标题一、数据集描述二、实验方向三、中位数补足四、比例补足与回归预测补足五、在不同缺失值比例下的预处理方式比较六、结论 一、数据集描述 这个数据集原来是上学期课程中的一个实例，是由9个数字特征+1个分类特征组成的数据集。简而言之，是通过加州地产的一些特征来预测房价的回归问题。9个输入特征有：　 X={‘longitude’,‘latitude’,‘housing_median_age...
MATLAB数据拟合
05-14
结合MATLAB曲线拟合工具箱介绍数据拟合，内容包括数据预处理、参数拟合和非参数拟合等。所在套餐：MATLAB核心知识点系列课程-CSDN程序员研修院，不断更新和增加课程。
决策树（decision tree）（四）——缺失值处理
热门推荐
天泽28的专栏
03-01 5万+
决策树（decision tree）（四）——缺失值处理 ** 注：本博客为周志华老师《机器学习》读书笔记，博客以西瓜书为基础写成。 2019年4月13日更新：1、订正了大家评论中的一个笔误。2、增加测试样本中属性有缺失值该如何处理。 决策树系列博客： 决策树（decision tree）（一）构造决策树方法 决策树（decision tree）（二）剪枝 决策树（decisi...
决策树在处理缺失值的优点和原理-学习历程
a625687551的博客
09-22 2429
决策树是计算的每一个特征值的信息熵，计算每一个变量的变动，他可以把缺失值当做某类或者某个区间，而随机森林是好多个决策树
机器学习笔记（7）——C4.5决策树中的缺失值处理
小赵的博客
11-12 1万+
缺失值处理是C4.5决策树算法中的又一个重要部分，前面已经讨论过连续值和剪枝的处理方法： 机器学习笔记（5）——C4.5决策树中的连续值处理和Python实现 机器学习笔记（6）——C4.5决策树中的剪枝处理和Python实现 现实任务中，通常会遇到大量不完整的样本，如果直接放弃不完整样本，对数据是极大的浪费，例如下面这个有缺失值的西瓜样本集，只有4个完整样本。 在构造决策树时，处理含...
缺失值的处理
hennessy_han的专栏
03-30 2209
对于数据挖掘和分析人员来说，数据准备（DataPreparation，包括数据的抽取、清洗、转换和集成）常常占据了70%左右的工作量。而在数据准备的过程中，数据质量差又是最常见而且令人头痛的问题。本文针对缺失值和特殊值这种数据质量问题，进行了初步介绍并推荐了一些处理方法。 值得注意的是，这里所说的缺失值，不仅包括数据库中的NULL值，也包括用于表示数值缺失的特殊数值（比如，在系统中用-999来表
Python机器学习实战：决策树预剪枝与参数控制
"Python机器学习实验，通过决策树进行预剪枝，探讨了如何设置max_depth、max_leaf_nodes和min_samples_leaf参数以防止过拟合。实验基于Python3.6.1环境，使用Jupyter编辑器，参考《Python机器学习基础教程》。实验...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

dujiahei

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值