决策树的优缺点

决策树优点
1. 易于理解和解释,因为树木可以画出来被看见
2. 需要很少的数据准备。其他很多算法通常都需要数据规范化,需要创建虚拟变量并删除空值等。但请注意, sklearn中的决策树模块不支持对缺失值的处理。
3. 使用树的成本(比如说,在预测数据的时候)是用于训练树的数据点的数量的对数,相比于其他算法,这是 一个很低的成本。
4. 能够同时处理数字和分类数据,既可以做回归又可以做分类。其他技术通常专门用于分析仅具有一种变量类 型的数据集。
5. 能够处理多输出问题,即含有多个标签的问题,注意与一个标签中含有多种标签分类的问题区别开
6. 是一个白盒模型,结果很容易能够被解释。如果在模型中可以观察到给定的情况,则可以通过布尔逻辑轻松 解释条件。相反,在黑盒模型中(例如,在人工神经网络中),结果可能更难以解释。
7. 可以使用统计测试验证模型,这让我们可以考虑模型的可靠性。
8. 即使其假设在某种程度上违反了生成数据的真实模型,也能够表现良好。
决策树的缺点
1. 决策树学习者可能创建过于复杂的树,这些树不能很好地推广数据。这称为过度拟合。修剪,设置叶节点所 需的最小样本数或设置树的最大深度等机制是避免此问题所必需的,而这些参数的整合和调整对初学者来说 会比较晦涩
2. 决策树可能不稳定,数据中微小的变化可能导致生成完全不同的树,这个问题需要通过集成算法来解决。
3. 决策树的学习是基于贪婪算法,它靠优化局部最优(每个节点的最优)来试图达到整体的最优,但这种做法 不能保证返回全局最优决策树。这个问题也可以由集成算法来解决,在随机森林中,特征和样本会在分枝过 程中被随机采样。
4. 有些概念很难学习,因为决策树不容易表达它们,例如XOR,奇偶校验或多路复用器问题。
5. 如果标签中的某些类占主导地位,决策树学习者会创建偏向主导类的树。因此,建议在拟合决策树之前平衡 数据集。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
决策树是一种经常用于分类和回归问题的机器学习算法。它基于一系列的决策规则和条件,通过逐步划分数据集来建立一个树状结构。每个内部节点代表一个特征或属性,每个分支代表该特征的可能取值,而每个叶节点代表一个类别或一个数值。通过在树上进行递归划分,我们可以根据输入特征的值来沿着树分支找到对应的类别或数值。 在构建决策树时,我们可以使用可视化来辅助决策树的生成过程,尤其在初步拟合阶段可以限制决策树的深度,这样可以更好地观察树的拟合情况并判断是否需要增加深度。此外,决策树还可以通过剪枝来防止过拟合,增强其泛化能力。剪枝包括预剪枝和后剪枝两种方法。 一个决策树的建立过程主要依赖于连续的逻辑判断来得出最后的结论。建立一棵决策树的关键在于如何选择合适的特征以及在每个内部节点如何进行划分。常用的划分准则包括基尼系数(CART决策树)等。 总之,决策树是一种常用的机器学习算法,它能够通过一系列的决策规则和条件来进行分类和回归任务。在决策树的构建过程中,可以使用可视化进行辅助观察和决策树的初步拟合情况,同时还可以通过剪枝方法来防止过拟合。决策树的建立过程主要依赖于逻辑判断和特征选择,其中常用的划分准则包括基尼系数等。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值