本文详细介绍了决策树的学习流程，包括如何选择最优划分属性，如信息增益、增益率和基尼指数。同时，探讨了剪枝处理，包括预剪枝和后剪枝的优缺点。此外，还讨论了连续值和缺失值的处理方法，以及多变量决策树在复杂分类边界中的应用。
目录
第三章 决策树
0️⃣基本流程
决策树/decision tree 是一类常见的机器学习方法，显然它是基于树的分类结构来进行决策的，要对问题进行决策时通常会进行一系列的判断或“子决策”，最后得出最终决策。
💡一般决策树包含一个根节点、若干个内部节点和若干个叶节点；叶节点对应于决策结果，其他每个节点则对应于一个属性测试。
💡决策树学习的目的时为了产生一棵泛化能力强，即处理未见示例能力强的决策树，其基本流程遵循简单且直观的“分而治之/divide-and-conquer”策略，如下图所示。
1️⃣划分选择
决策树学习的关键时上图4.2第八行，即如何选择最优划分属性。
也就是所随着划分过程不断进行，决策树的分支节点所包含的样本尽可能属于同一类别，即结点的“纯度/purity”越来越高。
✏️信息增益
✏️增益率
最低0.47元/天 解锁文章
758
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
