熵
信息增益
ID3算法构建决策树
C4.5算法构建决策树
CART决策树
根据基尼指数生成的CART决策树
是一棵二叉树
预剪枝
在生成树的过程中,通过观测验证集上的精度,若低了则还原,高了则剪枝
后剪枝
在生成树之后进行剪枝,也是通过验证集 验证
生成决策树过程中应对连续值的方法
通过离散化,不断对连续值拿出一个进行二分
生成决策树过程中应对缺失值的方法
略
多变量决策树
多变量主要是用线性分类器 将原来的一个个决策边界 换成一些线性直线
根据基尼指数生成的CART决策树
是一棵二叉树
在生成树的过程中,通过观测验证集上的精度,若低了则还原,高了则剪枝
在生成树之后进行剪枝,也是通过验证集 验证
通过离散化,不断对连续值拿出一个进行二分
略
多变量主要是用线性分类器 将原来的一个个决策边界 换成一些线性直线