关于决策树的优缺点

决策树的优缺点

决策树的优势:

1、便于理解和解释。树的结构可视化
2、训练需要的数据少,其他机器学习模型通常需要数据规范化,比如构建虚拟变量和移除缺失值
3、由于训练决策树的数据点的数量导致了决策树的使用开销呈指数分布(训练树模型的时间复杂度是参加训练数据点的对数值)
4、能够处理数值型数据和分类数据,其他的技术通常只能用来专门分析某一种的变量类型的数据集;
5、能够处理多路输出问题;
6、使用白盒模型。如果某种给定的情况在模型中是可以观察的,那么就可以轻易的通过布尔逻辑来解释这种情况,相比之下在黑盒模型中的结果就是很难说明清楚了;
7、可以通过数值统计测试来验证该模型。这对解释验证该模型的可靠性成为可能
8、即使是该模型假设的结果越真实模型所提供的数据有些违反,其表现依旧良好

决策树的缺点:

1、决策树模型容易产生一个过于复杂的模型,这样的模型对数据的泛化性能会很差。这就是所谓的过拟合,一些策略像剪枝、设置叶节点所需要的最小样本数或者设置数的最大深度就是避免出现该问题的最有效的方法。(剪枝:在机器学习经典算法中,决策树算法的重要性想必大家都是知道的。不管是ID3算法还是比如C4.5算法等等,都面临一个问题,就是通过直接生成的完全决策树对于训练样本来说是“过度拟合”的,说白了是太精确了。由于完全决策树对训练样本的特征描述得“过于精确” ,无法实现对新样本的合理分析, 所以此时它不是一棵分析新数据的最佳决策树。解决这个问题的方法就是对决策树进行剪枝,剪去影响预测精度的分支。常见的剪枝策略有预剪枝(pre -pruning)技术和后剪枝(post -pruning )技术两种。预剪枝技术主要是通过建立某些规则限制决策树的充分生长, 后剪枝技术则是待决策树充分生长完毕后再进行剪枝。)
2、决策树可能是不稳定的,因为在数据中的微小变化可能会导致完全不同的树生成。这个问题可以通过决策树的集成来得到缓解;
3、在多方面性能最优和简单化概念的要求下,学习一颗最优决策树通常是一个NP难问题(关于NP问题:https://blog.csdn.net/csshuke/article/details/74909562
因此,实际的决策树学习算法是基于启发式算法,例如在每个节点进行局部最优决策的贪心算法,这样的算法不能保证返回全局最有决策树,这个问题可以通过集成学习来训练多颗决策树来缓解,这多棵决策树一般通过对特征和样本又放回的随机采样来生成;
4、有些概念很难被决策树学习到,因为决策树很难清楚的表述那些概念,例如XOR,奇偶或者复用器问题;
5、如果某些类在问题中占主导地位会使得创始的决策树有偏差,因此建议在拟合前先对数据集进行平衡。

  • 8
    点赞
  • 83
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
决策树是一种经常用于分类和回归问题的机器学习算法。它基于一系列的决策规则和条件,通过逐步划分数据集来建立一个树状结构。每个内部节点代表一个特征或属性,每个分支代表该特征的可能取值,而每个叶节点代表一个类别或一个数值。通过在树上进行递归划分,我们可以根据输入特征的值来沿着树分支找到对应的类别或数值。 在构建决策树时,我们可以使用可视化来辅助决策树的生成过程,尤其在初步拟合阶段可以限制决策树的深度,这样可以更好地观察树的拟合情况并判断是否需要增加深度。此外,决策树还可以通过剪枝来防止过拟合,增强其泛化能力。剪枝包括预剪枝和后剪枝两种方法。 一个决策树的建立过程主要依赖于连续的逻辑判断来得出最后的结论。建立一棵决策树的关键在于如何选择合适的特征以及在每个内部节点如何进行划分。常用的划分准则包括基尼系数(CART决策树)等。 总之,决策树是一种常用的机器学习算法,它能够通过一系列的决策规则和条件来进行分类和回归任务。在决策树的构建过程中,可以使用可视化进行辅助观察和决策树的初步拟合情况,同时还可以通过剪枝方法来防止过拟合。决策树的建立过程主要依赖于逻辑判断和特征选择,其中常用的划分准则包括基尼系数等。<span class="em">1</span><span class="em">2</span><span class="em">3</span>

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值