【P22 分类算法及应用实践】决策树

决策树

1 决策树概述

1.1 算法引入

1.2 决策树定义

1.3 决策树发展

1.4 结构

1.5 从树到规则

2 决策树构建原理

2.1 基本原理

1.2 特征选择

2.3 信息熵（越小越纯）

2.4 信息增益（越大，纯度提升越大）

3 决策树实例分析

3.1 实例分析

3.2 增益率 C4.5算法

3.3 基尼指数–CART算法

4 决策树剪枝

4.1 决策树剪枝

不剪枝，让他自己长；
结果正确率3/7；

4.2 预剪枝

不划分，不长，认为都是好瓜

预剪枝，
只通过脐部划分，不让她在往下长了

4.3 后剪枝

判断6，可以减

判断5，不可以减

判断2，可以减

判断3，1，不可以减

后剪枝，最终结果

5 缺失值处理与决策树本质

5.1 连续值处理

5.2 缺失值处理

5.3 决策树本质

5.4 决策树总结

5.5 sklearn的决策树