第4章 决策树
1、基本概念
树:除了根结点,任何结点都有且仅有一个前驱的数据结构。(具有递归和分层的特性)
逻辑结构:“一对多”的树形结构。
存储结构:双亲表示法、孩子表示法、孩子兄弟表示法。
决策树:基于树结构进行决策的机器学习算法。
叶结点:决策结果,即最终分类结果,好瓜坏瓜。
非终端节点:属性测试,即决策的中间过程,将得到决策结果 或 导出进一步细分的决策问题。
2、算法流程(融合各种技巧)
(1)随机抽取样本:构建多个决策树,提升泛化能力(随机森林)
(2)连续与缺失处理:提高算法通用性(连续:最优划分点;缺失:算完打折扣)
(3)判断是否划分数据集:三条标准(同一类别、属性值相同、样本集为空)
(4)选择最优划分属性:信息增益(ID3)、增益率(C4.5)、基尼系数(CART)
(5)预剪枝:防止过拟合,提升泛化能力(容易欠拟合)
(6)后剪枝:防止过拟合,提升泛化能力(运算量大,速度慢)
(7)多变量决策树:分支结点变成对属性的线性组合进行测试。