决策树
珞沫
欲望以提升热忱,毅力以磨平高山。
展开
-
机器学习笔记24——单层决策树(decision stump)原理以及python实现
单层决策树1、概述2、构建1、概述\quad \quad单层决策树(decision stump),也称决策树桩,它是一种简单的决策树,通过给定的阈值,进行分类。如下图所示(仅对 petal length 进行了判断):从树(数据结构)的观点来看,它由根节点(root)与叶子节点(leaves)直接相连。用作分类器(classifier)的 decision stump 的叶子节点也就意味着最终的分类结果。从实际意义来看,decision stump 根据一个属性的一个判断就决定了最终的分类结果原创 2020-08-15 16:50:29 · 6117 阅读 · 0 评论 -
机器学习笔记16——决策树剪枝算法原理及python实现案例
决策树剪枝算法1、算法目的2、算法基本思路:3、决策树损失函数4、剪枝类型:4.1 预剪枝4.2 后剪枝4.3 两种剪枝策略对比1、算法目的决策树的剪枝是为了简化决策树模型,避免过拟合。同样层数的决策树,叶结点的个数越多就越复杂;同样的叶结点个数的决策树,层数越多越复杂。剪枝前相比于剪枝后,叶结点个数和层数只能更多或者其中一特征一样多,剪枝前必然更复杂。层数越多,叶结点越多,分的越细致,对训练数据分的也越深,越容易过拟合,导致对测试数据预测时反而效果差,泛化能力差。2、算法基本思路:剪去决原创 2020-07-21 11:23:38 · 3101 阅读 · 0 评论 -
机器学习笔记15——决策树(DT)、ID3算法、C4.5算法原理以及python实现案例
决策树1、概述2、决策树模型3、决策树学习4、决策树构建-三步骤4.1 特征选择4.1.1 熵(entropy)4.1.2 条件熵(entropy)4.1.3 信息增益总结1、概述决策树(decision tree): 是一种基本的分类与回归方法,此处主要讨论分类的决策树。在分类问题中,表示基于特征对实例进行分类的过程,可以认为是if-then的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。2、决策树模型定义: 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组原创 2020-07-19 21:53:50 · 9474 阅读 · 2 评论 -
机器学习笔记21——决策树之CART算法原理及python实现案例
CART算法引言1、概述2、CART算法2.1 CART生成2.1.1 回归树的生成2.1.2 分类树的生成2.2 CART剪枝2.2.1 剪枝,形成一个子树序列2.2.2 在剪枝得到的子树序列T0,T1,T2,T3......TnT_0,T_1,T_2,T_3......T_nT0,T1,T2,T3......Tn中通过验证选取最优子树TαT_\alphaTα引言\quad \quad在决策树、ID3、C4.5算法一文中,简单地介绍了决策树模型,以及决策树生成算法ID3算法和ID3算法的改原创 2020-08-12 16:45:05 · 11642 阅读 · 16 评论