CART、ID3和C4.5都是决策树算法，它们在特征选择、树生成和剪枝上有共同点，但也存在差异。ID3对缺失值敏感，只能处理分类自变量；C4.5和CART能处理连续和分类自变量，且C4.5采用信息增益率，CART使用基尼指数。CART为二叉树，处理速度快，适用于大样本。C4.5在小样本下表现更好，但排序耗时高。ID3没有剪枝策略，C4.5和CART有剪枝策略。CART可用于分类和回归问题。
相同点
均由特征选择，树的生成，剪枝组成。
不同点
提出时间
1979，1986年提出的ID3。
1984年提出的CART。
1993年提出的C4.5。
样本数据
样本数据——缺失值
ID3对缺失值敏感，而C4.5和CART对缺失值可以进行多种方式的处理。
样本数据——连续值
ID3只能对分类自变量进行处理，C4.5和CART可以处理连续和分类两种自变量。
ID3不能直接处理连续型特征,只能事先将连续型特征转为离散型，才能在ID3中使用。但这种转换过程会破坏连续型变量的内在性质。故使用二元切分法，具体的处理方法是: 如果特征值大于给定值就走左子树，否则走右子树。另外二元切分法也节省了树的构建时间。
C4.5采用了相邻数值平均值离散化的方式，这样就会具有多个切分点。
CART本身就可以处理连续型数值。
样本数据——样本量
小样本建议考虑C4.5、大样本建议考虑CART。
C4.5处理过程中需对数据集进行多次排序，处理成本耗时较高。
CART本身是一种大样本的统计方法，小样本处理下泛化误差较大。
样本特征
样本特征——使用次数
ID3 和 C4.5 层级之间只使用一次特征，CART 可多次重复使用特征；
样本特征——划分标准
ID3 使用信息增益偏向
最低0.47元/天 解锁文章
扫一扫
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
