机器学习笔记——决策树

定义

决策树是一种可以用来解决回归和分类的问题的算法

决策树使用树形结构，通过叶子节点上的条件层层推理，得到最终的结果

例如：通过上面的简单决策，我们可以通过形状这一条件决策出水果属于哪一类。

决策树的学习结果和取什么规则来进行决策息息相关

决策树理解很简单，易于解释，决策树可视，因此，使用很广泛。

构建决策树的步骤

1. 特征选择

选择最有效的决策规则

2. 决策树生成

对选择的特征进行排列，以信息增益为准则进行决策树的构建

3. 决策树剪枝

防止决策树过拟合

决策树的优缺点

优点

• 易于理解，决策树可视化，容易提取出特征
• 测试数据集时，运行速度比较快
• 可以同时处理标称型和数值型数据
• 能够处理不相关的特征

缺点

• 容易发生过拟合（随机森林可以很大程度上减少过拟合）；
• 容易忽略数据集中属性的相互关联；
• 对于那些各类别样本数量不一致的数据，在决策树中，进行属性划分时，不同的判定准则会带来不同的属性选择倾向；信息增益准则对可取数目较多的属性有所偏好（典型代表ID3算法），而增益率准则（CART）则对可取数目较少的属性有所偏好，但CART进行属性划分时候不再简单地直接利用增益率尽心划分，而是采用一种启发式规则）（只要是使用了信息增益，都有这个缺点，如RF）。
• ID3算法计算信息增益时结果偏向数值比较多的特征。

参考

一文看懂决策树 - Decision tree（3个步骤+3种典型算法+10个优缺点）