机器学习笔记

1. CART 与 ID3, C4.5的区别
   理论上总的来说，
   C4.5是基于ID3优化后产出的算法，主要优化了关于节点分支的计算方式，优化后解决了ID3分支过程中总喜欢偏向取值较多的属性，ID3是信息增益分支：而CART一般是GINI系数分支：C4.5一般是信息增益率分支：

工程上总的来说：
CART和C4.5之间主要差异在于分类结果上，CART可以回归分析也可以分类，C4.5只能做分类；C4.5子节点是可以多分的，而CART是无数个二叉子节点；以此拓展出以CART为基础的“树群”random forest ， 以回归树为基础的“树群”GBDT

样本数据的差异：
ID3只能对分类变量进行处理，C4.5和CART可以处理连续和分类两种自变量
ID3对缺失值敏感，而C4.5和CART对缺失值可以进行多种方式的处理
只从样本量考虑，小样本建议考虑c4.5、大样本建议考虑cart。c4.5处理过程中需对数据集进行多次排序，处理成本耗时较高，而cart本身是一种大样本的统计方法，小样本处理下泛化误差较大

目标因变量的差异：
ID3和C4.5只能做分类，CART（分类回归树）不仅可以做分类（0/1）还可以做回归（0-1）
ID3和C4.5节点上可以产出多叉（低、中、高），而CART节点上永远是二叉（低、非低）

样本特征上的差异：
特征变量的使用中，多分的分类变量ID3和C4.5层级之间只单次使用，CART可多次重复使用

决策树产生过程中的优化差异：
C4.5是通过枝剪来修正树的准确性，而CART是直接利用全部数据发现所有树的结构进行对比

ID3：根据“最大信息增益”原则选择划分当前数据集最好的特征，按照特征的所有取值进行划分。一旦按照某种特征进行切分后，该特征在之后的计算中就不再起作用。
C4.5：ID3的划分原则有个缺点，它一般会选择属性值较多的特征，C4.5使用“信息增益率”来作为特征切分的准则，同时C4.5还弥补了ID3不能处理特征属性值连续的问题。
CART：它是一棵树，采用二元切分法将数据切成两份分别进入左子树和右子树，分类树采用Gini系数作为切分标准，主要反映切分后数据的不纯度。回归树采用方差缩减作为切分标准，具体可参考小象学院关于CART中回归的处理。