No.1.6决策树 id3 /c4.5 / cart 优缺点

1决策树基于信息增益，信息熵

3 个算法

对比

id3算法缺点：

c4.5

优点：
（1）通过信息增益率选择分裂属性，克服了ID3算法中通过信息增益倾向于选择拥有多个属性值的属性作为分裂属性的不足；
（2）能够处理离散型和连续型的属性类型，即将连续型的属性进行离散化处理；
（3）构造决策树之后进行剪枝操作；
（4）能够处理具有缺失属性值的训练数据。
缺点：
（1）算法的计算效率较低，特别是针对含有连续属性值的训练样本时表现的尤为突出。
（2）算法在选择分裂属性时没有考虑到条件属性间的相关性，只计算数据集中每一个条件属性与决策属性之间的期望信息，有可能影响到属性选择的正确性。

cart
分类问题，最后反馈 ：分类树----> 叶子取 众数
回归问题：回归树-----》 叶子取均值