一、简介
ID3算法是一种贪心算法，用来构造决策树。ID3算法起源于概念学习系统(CLS)，以信息熵的下降速度为选取测试属性的标准，即在每个节点选取还尚未被用来划分的具有最高信息增益的属性作为划分标准，然后继续这个过程，直到生成的决策树能完美分类训练样例。
ID3 算法是一个从上到下、分而治之的归纳过程。
二、ID3算法的核心
在决策树各级节点上选择属性是，通过计算信息增一来选择属性，以使得在每一个非节点进行测试时，能获得关于被测试记录最大的类别信息。
三、ID3算法的具体方法
ID3算法是一种用于构建决策树的贪心算法，通过计算信息增益选择属性进行划分。该算法从根节点开始，递归地将样本集划分为单一类别的子集，直到所有子集仅包含同一类别或无属性可划分。ID3算法要求所有属性为离散量，且训练样本无缺失值。其优点包括算法简单、预测准确率较高，但存在偏向性、对特征相关性和噪声敏感等问题。
最低0.47元/天 解锁文章
扫一扫
883
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
