CART/ID3/C4.5

相同点

均由特征选择，树的生成，剪枝组成。

不同点

提出时间

1979，1986年提出的ID3。
1984年提出的CART。
1993年提出的C4.5。

样本数据

样本数据——缺失值

ID3对缺失值敏感，而C4.5和CART对缺失值可以进行多种方式的处理。

样本数据——连续值

ID3只能对分类自变量进行处理，C4.5和CART可以处理连续和分类两种自变量。

ID3不能直接处理连续型特征,只能事先将连续型特征转为离散型，才能在ID3中使用。但这种转换过程会破坏连续型变量的内在性质。故使用二元切分法，具体的处理方法是: 如果特征值大于给定值就走左子树，否则走右子树。另外二元切分法也节省了树的构建时间。

C4.5采用了相邻数值平均值离散化的方式，这样就会具有多个切分点。

CART本身就可以处理连续型数值。

样本数据——样本量

小样本建议考虑C4.5、大样本建议考虑CART。

C4.5处理过程中需对数据集进行多次排序，处理成本耗时较高。

CART本身是一种大样本的统计方法，小样本处理下泛化误差较大。

样本特征

样本特征——使用次数

ID3 和 C4.5 层级之间只使用一次特征，CART 可多次重复使用特征；

样本特征——划分标准

ID3 使用信息增益偏向