机器学习-决策树

一、基本概念

决策树（decision tree）是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示属于特征对实例进行分类的过程，它可以认为是if-then规则的集合，也可以认为是电议在特征空间与类空空上的条件概率分布，其主要优点是模型具有可读性，分类速度快。决策树的学习通常包括3个步骤：特征选择，决策树的生成和决策树的修剪。

 

二、决策树的生成

略

三、常见的决策树算法

（1）信息增益最大：ID3

 ID3算法就是在每次需要分裂时，计算每个属性的增益率，然后选择增益率最大的属性进行分裂。

（2）信息增益比最大：C4.5

 ID3算法存在一个问题，就是偏向于多值属性，例如，如果存在唯一标识属性ID，则ID3会选择它作为分裂属性，这样虽然使得划分充分纯净，但这种划分对分类几乎毫无用处。ID3的后继算法C4.5使用增益率（gain ratio）的信息增益扩充，试图克服这个偏倚。

 

（3）基尼指数最大CART

三、修枝

  在实际构造决策树时，通常要进行剪枝，这时为了处理由于数据中的噪声和离群点导致的过分拟合问题。剪枝有两种：

先剪枝——在构造过程中，当某个节点满足剪枝条件，则直接停止此分支的构造。

后剪枝——先构造完成完整的决策树，再通过某些条件遍历树进行剪枝