机器学习笔记整理

看周志华《机器学习》所作的笔记笔记

第四章决策树

4.1基本流程

决策树是基于树结构来进行决策的，决策过程中提出的每个判定问题都是对某个属性的“测试”。
一般，一颗决策树包含一个根结点、若干个内部结点和若干个叶结点；叶结点对应与决策结果，其他每个节点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集。

4.2划分选择

4.2.1信息增益

4.2.2增益率

信息增益准则对可取数目较多的属性有所偏好，增益率准则对可取数目较少的属性有所偏好。
C4.5算法：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。

4.2.3基尼指数

基尼指数最小的属性作为最有划分属性

4.3剪枝处理

剪枝(pruning)是决策树学习算法对付“过拟合”的主要手段。

4.3.1预剪枝

4.3.2后剪枝

4.4连续与缺失值

4.4.1连续值处理

4.4.1缺失值处理

4.5多变量决策树