决策树

1、决策树，是一种分类算法和回归算法（这里只介绍分类算法）

2、决策树算法的构建分为3个部分：特征的选择，决策树的生成，决策树的剪枝；（主要参考李航的《统计学习方法》第五章）

    a、特征的选择----选择使信息增益最大的特征；即选择一个分类特征必须是分类确定性更高，此特征才是更好的；

    b、决策树的生成---ID3，C4.5算法，此时用迭代的方式构建决策树；注意此时的决策树，因为每次选的都是局部最优解，所以是过拟合的；

    c、决策树的剪枝---决策树剪枝是为了防止过拟合，根据全局cost function ，如果剪掉一个数支，cost function 会变小，那么剪掉这个树枝；