机器学习Day4

决策树

1.概念

决策树是一种用于解决分类问题的算法，希望通过从给定数据训练一个模型用来对新示例进行分类
决策树顾名思义是树结构，其结点可以划分为三类：根结点、内部结点、叶结点
根节点：一般是区分度最高（基尼指数最小）的属性（纯度最高）
内部结点：是父结点下基尼系数最小的结点
叶结点：决策结点，一般为标签的值

2.划分选择

我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即纯度高
常用方法：
1.信息熵：值越小，纯度越高

2.基尼指数：值越小，纯度越高

3.剪枝处理

剪枝是决策树学习算法中降低过拟合的主要方法
基本策略：
1.预剪枝：在决策树生成过程中对每个结点先进行估计，若当前结点的划分不能带来决策树泛化性能的提升，则停止划分并将当前结点标记为叶节点（自顶向下）

2.后剪枝：从训练集生成一棵完整的决策树，自底向上对非叶节点进行考察，若将该节点对应的子树替换为叶节点能带来决策树泛化性能提升，则将该子树替换为叶结点

4.连续离散

将连续值划分为几个区间，区间的分界值相同