决策树

最新推荐文章于 2023-06-27 09:59:44 发布

colourgxk

最新推荐文章于 2023-06-27 09:59:44 发布

阅读量390

点赞数 1

文章标签：机器学习决策树

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/colourgxk/article/details/100154014

版权

本文介绍了决策树的学习过程，包括生成的递归条件、最优划分属性的选择，如信息增益、增益率和基尼指数。此外，还讨论了决策树的剪枝策略，分为预剪枝和后剪枝，以及如何处理连续值和缺失值，以优化决策树的性能。

摘要由CSDN通过智能技术生成

1、决策树的生成是一个递归过程，会有三种情况导致递归返回：

（1）当前结点包含的样本全属于同一类别，无需划分；

（2）当前属性集为空，或是所有样本在所有属性上取值相同，无法划分；

（3）当前结点包含的样本集合为空，不能划分。

2、决策树学习的关键是如何选择最优划分属性：希望分支结点所包含的样本尽可能属于同一类别。信息增益、增益率、基尼指数都可以用来选择划分属性。

3、信息增益

若当前样本集合D中第k类样本所占比例为： $p_k(k=1,2,...,\left | y \right |)$ ，则D的信息熵定义为：

$Ent(D)=-\sum _{k=1}^{\left | y \right |}p_klog_2p_k$

Ent(D) 的值越小，则D的纯度越高。用属性a对样本集D进行划分所获得的信息增益为：

$Gain(D,a)=Ent(D)-\sum _{v=1}^{V}\frac{\left | D^v \right |}{\left | D \right |}Ent(D^v)$

其中， D^v 为D在属性a上取值为 a^v 的样本，属性a有V个可能的取值

最低0.47元/天解锁文章

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。