机器篇——决策树(三) 细说 ID3 算法与 C4.5 算法

万道一

于 2020-01-04 14:48:39 发布

阅读量893

点赞数

分类专栏： AI章文章标签：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_38299170/article/details/103721996

版权

返回主目录

返回决策树目录

上一章：机器篇——决策树(二)

下一章：机器篇——决策树(四)

本小节，细说 ID3 算法与 C4.5 算法，下一小节开始细说 CART 算法。

二. 算法细说

3. ID3 算法(信息增益)

(1). ID3 算法的思路(利用信息增益(互信息 $\large I(X, Y)$ ))

输入的是 $\large m$ 个样本，样本输出集合为 $\large D$ ，每个样本有 $\large n$ 个离散特征，特征集合即为 $\large A$ ，输出为决策树 $\large T$

①. 初始化信息增益的阈值 $\large \varepsilon$

②. 判断样本是否为同一类输出 $\large D_{i}$ ，如果是，则返回单节点树 $\large T$ 。标记类别为 $\large D_{i}$

③. 判断特征是否为空，如果是，则返回单节点树 $\large T$ ，标记类别为样本中输出类别 $\large D$ 实例数最多的类别。

④. 计算 $\large A$ 中的各个特征(一共 $\large n$ 个)对输出

最低0.47元/天解锁文章

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
机器篇——决策树(三) 细说 ID3 算法与 C4.5 算法

返回主目录返回决策树目录上一章：机器篇——决策树(二)下一章：机器篇——决策树(四)本小节，细说ID3 算法与 C4.5 算法，下一小节开始细说 CART 算法。二. 算法细说 3. ID3 算法(信息增益) (1). ID3 算法的思路(利用信息增益(互信息)) 输...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。