决策树的划分选择

最新推荐文章于 2024-03-08 11:32:45 发布

天才狂想者

最新推荐文章于 2024-03-08 11:32:45 发布

阅读量737

点赞数

分类专栏：决策树机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/sinat_36391198/article/details/98038962

版权

机器学习同时被 2 个专栏收录

16 篇文章 2 订阅

订阅专栏

3 篇文章 0 订阅

订阅专栏

定义信息熵：

$Ent(D)=-\sum_{k=1}^{n}p_{k}log_{2}p_{k}$ ，其中 $p_{k}$ 为第k个样本占比，D为样本集。

定义信息增益：

$Cain(D,a)=Ent(D)-\sum_{v=1}^{v}\frac{|D^{v}|}{|D|}Ent(D^{v})$ ，其中V为分支节点，a为属性。

使用举例（书上的例子）：

编号色泽根蒂敲声纹理脐部触感好瓜

1 青绿蜷缩浊响清晰凹陷硬滑是

2 乌黑蜡缩沉闷清晰凹陷硬滑是

3 乌黑蜡缩 1虫响清晰凹陷硬滑是

4 青绿蜷缩沉闷清晰凹陷硬滑是

5 浅白蜷缩浊响清晰凹陷硬滑是

6 青绿稍蜷浊响清晰稍凹软粘是

7 乌黑稍蜷浊日向稍糊稍凹软粘是

8 乌黑稍蜷独日向清晰稍凹硬滑是

9 乌黑稍蜷祝闷硝糊稍凹硬滑否

10 青绿硬挺清脆清晰平坦软粘否

11 洁白硬挺清脆模糊平坦硬滑否

12 洁白蜷缩浊响模糊平坦软粘否

13 青绿稍蜷浊响稍糊凹陷硬滑否

14 浅白稍蜷沉闷稍糊凹陷硬情否

15 乌黑稍蜷浊响清晰稍凹软粘否

16 践自蜷缩浊响模糊平坦硬滑否

17 青绿蜡缩沉闷稍糊稍凹硬滑否

我们用色泽进行分类，可以分为三类 $D^{1}$ 青绿, $D^{2}$ 乌黑, $D^{3}$ 浅白。

$D^{1}$ {1， 4, 6, 10, 13, 17}

$D^{2}$ {2， 3, 7, 8, 9, 15}

$D^{3}$ {5， 11, 12, 14, 16}

$Ent(D^{1})=-(\frac{3}{6}log_{2}\frac{3}{6}+\frac{3}{6}log_{2}\frac{3}{6})=1.000$

通过对比可知， $p_{k}$ 为样本中的比例，什么比例？这个例子中就是好瓜与怀瓜的比例，各有三个，故为3/6、

同理有 $Ent(D^{2})=0.918,Ent(D^{3})=0.722$ 。

$Cain(D,color)=Ent(D)-\sum_{v=1}^{3}\frac{|D^{v}|}{|D|}Ent(D^{v})=0.988-(\frac{6}{17}\times 1.000+\frac{6}{17}\times 0.918+\frac{5}{17}\times 0.722)=0.109$

D的信息熵可以按照公式计算。

我们计算每一个属性的信息增益，将其作为节点在进行分支。

天才狂想者

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
决策树的划分选择

定义信息熵：，其中为第k个样本占比，D为样本集。定义信息增益：，其中V为分支节点，a为属性。使用举例（书上的例子）：编号色泽根蒂敲声纹理脐部触感好瓜1 青绿蜷缩浊响清晰凹陷硬滑是2 乌黑蜡缩沉闷清晰凹陷硬滑是3 乌黑蜡缩 1虫响清晰凹陷硬滑是4 青绿蜷缩沉闷清晰凹陷硬滑是5 浅白蜷缩浊响清晰 ...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。