ID3算法的缺陷，为什么倾向特征选项较多的特征？

最新推荐文章于 2020-09-10 13:38:58 发布
最新推荐文章于 2020-09-10 13:38:58 发布
阅读量1.8k 收藏 1
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45834085/article/details/103034956
版权
ID3算法基于最大信息增益选择特征，但存在偏好特征选项多的属性问题。信息熵衡量事件确定性，信息增益评估特征划分效果。算法不处理连续特征、缺失值，并易导致过拟合。特征选项多的属性往往获得更大信息增益，但并不意味着更好的分类效果。
摘要由CSDN通过智能技术生成

在学习决策树的过程中,了解到最常用的算法ID3,C4.5,CART。现在我们了解一下ID3算法。

目录

一.ID3基本概念

ID3算法核心是根据“最大信息增益”原则选择划分当前数据集的最好特征。

1.信息熵

当前样本集D中第 i 类样本所占的比例 pi ,则D的信息熵为
在这里插入图片描述
信息熵越小,代表事件越确定。
换到决策树中可以表示某类样本所占总样本数的比例很大。

2.信息增益

假定数据集D中离散属性a有V个可能的取值,若使用a对数据进行划分,则会产生V个分支节点,其中第v个分支节点包含了D中所有在属性a上取值为av的样本,记为Dv,可以用属性a对样本集D进行划分所得的信息增益(informatongan)
在这里插入图片描述
描述了在知道a之后数据集D不确定性减少的程度。

二.ID3的缺点:

  1. ID3没有考虑连续特征,比如长度,密度都是连续值,无法在ID3运用。这
    大大限制了ID3的用途。
  2. ID3采用信息增益大的特征优先建立决策树的节点。在相同条件下,取值比
    较多的特征比取值少的特征信息增益大。比如一个变量有2个值,各为1/2,另一个变量为3个值,各为1/3,其实他们都是完全不确定的变量,但是取3个值的比取2个值的信息增益大。
  3. ID3算法对于缺失值的情况没有做考虑
最低0.47元/天 解锁文章
素笺清风
关注
CVPR2023 | 一种不需要点聚类的新颖点云实例分割算法
3D视觉工坊
11-13 394
作者：PCIPG-HAY | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：3D点云，拉你入群。文末附行业细分群现有的 3D 实例分割方法以自下而上的设计为主——手动微调算法将点分组为簇，然后是细化网络。然而，由于依赖于聚类的质量，当（1）具有相同语义类的附近对象被打包在一起，或（2）具有松散连接区域的大型对象时，这些...
【进阶版】机器学习之特征工程介绍及优化方法引入（03）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-22 786
机器学习算法知识、数据预处理、特征工程、模型评估——原理+案例+代码实战机器学习之Python开源教程——专栏介绍及理论知识概述机器学习框架及评估指标详解Python监督学习之分类算法的概述数据预处理之数据清理，数据集成，数据规约，数据变化和离散化特征工程之One-Hot编码、label-encoding、自定义编码卡方分箱、KS分箱、最优IV分箱、树结构分箱、自定义分箱特征选取之单变量统计、基于模型选择、迭代选择机器学习八大经典分类万能算法——代码+案例项目开源、可直接应用于毕设+科研项目。
机器学习-决策树-ID3决策树
qq_38304392的博客
03-05 66
机器学习-决策树-ID3决策树 原理看上一篇，这篇只有代码实现 它以信息熵为度量标准，划分出决策树特征节点，每次优先选取信息量最多的属性，也就是使信息熵变为最小的属性，以构造一颗信息熵下降最快的决策树。 缺点 ID3算法的节点划分度量标准采用的是信息增益，信息增益偏向于选择特征值个数较多的特征。而取值个数较多的特征并不一定是最优的特征，所以需要改进选择属性的节点划分度量标准 ID3算法递归过程中...
机器学习--ID3算法的缺陷，为什么倾向特征选项较多的特征？
qq_44930315的博客
11-12 2289
ID3算法的概念 ID3算法十分简单，核心是根据“最大信息熵增益”原则选择划分当前数据集的最好特征，信息熵是信息论里面的概念，是信息的度量方式，不确定度越大或者说越混乱，熵就越大。在建立决策树的过程中，根据特征属性划分数据，使得原本“混乱”的数据的熵(混乱度)减少，按照不同特征划分数据熵减少的程度会不一样。在ID3中选择熵减少程度最大的特征来划分数据（贪心），也就是“最大信息熵增益”原则。 ID3...
如何理解C4.5算法解决了ID3算法的偏向于选择取值较多的特征问题
weixin_30542079的博客
04-04 637
如何理解C4.5算法解决了ID3算法的偏向于选择取值较多的特征问题 考虑一个极端情况，某个属性（特征）的取值很多，以至于每一个取值对应的类别只有一个。这样根据\[H(D) - H(D|A)\]可以得知后面的那一项的值为0。这样得到信息增益会很大。C4.5算法加了一个惩罚项\[H_A(D) = -\sum_{i=1}^n\dfrac{|D_i|}{|D|}\log_2\dfrac{|D_i...
决策树ID3、C4.5这两种算法的特点？为什么使用C4.5要好？
cjl的博客
09-10 516
ID3、C4.5这两种算法的特点？为什么使用C4.5要好？ [参考文章] [1]. <机器学习> p73–p79 见附件书本 [2]. C4.5算法详解 https://blog.csdn.net/zjsghww/article/details/51638126 [3]. ID3和C4.5的区别 https://blog.csdn.net/Neo_226/article/details/48156679 ...
02-21 决策树ID3算法
小猿取经
02-27 596
文章目录决策树ID3算法决策树ID3算法学习目标决策树引入决策树ID3算法详解if…else和决策树信息增益决策树ID3算法流程输入输出流程决策树ID3算法优缺点优点缺点小结 决策树ID3算法   决策树（decision tree）是一种基本的分类与回归方法，同时由于自身是弱分类器特别适合集成学习，例如随机森林、XgBoost。   本文将通过ID3算法带大家入门决策树，之后会另写文章谈谈C4...
信息增益比和信息增益
虎哥的铲屎员
06-10 2356
信息增益 熵：H(X)=−∑i=1kpilog⁡piH(X) = -\sum_{i=1}^k p_i\log p_iH(X)=−∑i=1k​pi​logpi​ 条件熵：H(X∣Y)=−∑j=1np(yj)H(X∣yj)=−∑j=1np(yj)∑i=1kp(xi∣yj)log⁡p(xi∣yj)H(X|Y) =-\sum_{j=1}^n p(y_j)H(X|y_j) =-\sum_{j=1}^n p...
决策树：ID3&C4.5&cart算法（从原理到实现-小白教程超详细）
GentleCP的博客
08-12 3331
本文详细地介绍了决策树的三个构建算法 ID3，C4.5，cart的原理并给出了具体操作样例，帮助读者加深理解。文末给出了具体实现代码，让小白能够快速地学习并掌握这几个算法的运用
多视角特征融合网络的伪装目标检测
6232MFFN：多视角特征融合网络的伪装目标检测郑德华1郑晓晨2劳伦斯T.杨1*高元3朱晨璐4阮毅恒41华中科技大学2瑞士苏黎世联邦理工学院3海南大学，中国4湖北楚天高速公路数字技术，中国dwardzheng@hust.edu.cnxzheng@...
机器学习之决策树
wyisfish的博客
12-12 304
决策树 是表示基于特征对实例进行分类的树形结构。   从给定的训练数据集中，依据特征选择的准则，递归的选择最优划分特征，并根据此特征将数据进行分割，使得各子数据集有最好的分类过程。   决策树算法3要素： 特征选择 决策树生成 决策树剪枝 关于决策树生成 决策树生成的过程是 使得满足划分准则的特征不断的将数据划分成纯度更高的不确定性更小的子集的过程。对于当前数据D的每一次划分，都希...
对ID3算法的理解及其优缺点
weixin_45834080的博客
11-12 1万+
决策树ID3算法1、定义2、理解3、ID3算法的过程3、ID3算法的优缺点优点缺点4、为什么倾向特征选项较多的特征 在机器学习决策树中，最常用的三种算法有三种：ID3，C4.5，CART。在这里我将我对ID3算法的理解说一下。 1、定义 ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。 ID3名字中的ID是It-erative Dichotomiser(迭代二分器）...
分类算法之决策树ID3详解
热门推荐
春华秋实
08-19 4万+
回顾决策树的基本知识，其构建过程主要有下述三个重要的问题：      （1）数据是怎么分裂的      （2）如何选择分类的属性      （3）什么时候停止分裂      从上述三个问题出发，以实际的例子对ID3算法进行阐述。 先上问题吧，我们统计了14天的气象数据(指标包括outlook，temperature，humidity，windy)，并已知这些天气是否打球(play)。如果
决策树、ID3、C4.5以及CART算法小结
技术是条不归路
01-02 9137
决策树、ID3、C4.5以及CART算法决策树模型在监督学习中非常常见，可用于分类和回归。虽然将多棵弱决策树的Bagging、Random Forest、Boosting等tree ensemble 模型更为常见，但是“完全生长”决策树因为其简单直观，具有很强的解释性，也有广泛的应用，而且决策树是tree ensemble 的基础，值得好好理解。
ID3 ，C4.5 CART 三种算法的优缺点
qq_16236875的博客
10-25 5188
ID3 算法的核心是最大信息熵增益， 原则选择划分当前数据集的最好特征，信息熵是信息论里面的，是信息的度量方式，不确定度越大或者说越混乱，熵就越大，在建立决策树的过程中，根据特征属性划分数据，使得原本“混乱” 的数据的熵（混乱度） 减少，按照不同特征划分数据熵减少的程度会不一样，在ID3中选择熵减少程度最大的特征来划分数据（贪心） ，也就是“ 最大信息熵增益” 原则。 缺点：只能处理离散型属性，...
机器学习实战 （2）决策树 （二） 决策树ID3算法的优缺点
BlueLoveyyt的专栏
04-12 8847
决策树的优点 相对于其他数据挖掘算法，决策树在以下几个方面拥有优势： 决策树易于理解和实现. 人们在通过解释后都有能力去理解决策树所表达的意义。对于决策树，数据的准备往往是简单或者是不必要的 . 其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。能够同时处理数据型和常规型属性。 其他的技术往往要求数据属性的单一。是一个白盒模型如果给定一个观察的模型，那么根据所产生的决策树
ID3、C4.5、CART三种算法优缺点比较
dong-技术驱动人生
08-07 9301
ID3 D3算法十分简单，核心是根据“最大信息熵增益”原则选择划分当前数据集的最好特征，信息熵是信息论里面的概念，是信息的度量方式，不确定度越大或者说越混乱，熵就越大。在建立决策树的过程中，根据特征属性划分数据，使得原本“混乱”的数据的熵(混乱度)减少，按照不同特征划分数据熵减少的程度会不一样。在ID3中选择熵减少程度最大的特征来划分数据（贪心），也就是“最大信息熵增益”原则。 同时这是最早提...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值