目录
第三章 决策树
0️⃣基本流程
决策树/decision tree 是一类常见的机器学习方法,显然它是基于树的分类结构来进行决策的,要对问题进行决策时通常会进行一系列的判断或“子决策”,最后得出最终决策。
💡一般决策树包含一个根节点、若干个内部节点和若干个叶节点;叶节点对应于决策结果,其他每个节点则对应于一个属性测试。
💡决策树学习的目的时为了产生一棵泛化能力强,即处理未见示例能力强的决策树,其基本流程遵循简单且直观的“分而治之/divide-and-conquer”策略,如下图所示。
1️⃣划分选择
决策树学习的关键时上图4.2第八行,即如何选择最优划分属性。
也就是所随着划分过程不断进行,决策树的分支节点所包含的样本尽可能属于同一类别,即结点的“纯度/purity”越来越高。