1 决策树概述
1.1 算法引入
1.2 决策树定义
1.3 决策树发展
1.4 结构
1.5 从树到规则
2 决策树构建原理
2.1 基本原理
1.2 特征选择
2.3 信息熵(越小越纯)
2.4 信息增益(越大,纯度提升越大)
3 决策树实例分析
3.1 实例分析
3.2 增益率 C4.5算法
3.3 基尼指数–CART算法
4 决策树剪枝
4.1 决策树剪枝
不剪枝,让他自己长;
结果正确率3/7;
4.2 预剪枝
不划分,不长,认为都是好瓜
预剪枝,
只通过脐部划分,不让她在往下长了
4.3 后剪枝
判断6,可以减
判断5,不可以减
判断2,可以减
判断3,1,不可以减
后剪枝,最终结果
5 缺失值处理与决策树本质
5.1 连续值处理
5.2 缺失值处理
5.3 决策树本质