[机器学习]ID3决策树详细计算流程周志华机器学习笔记原创Excel手算方法

最新推荐文章于 2024-08-04 21:08:26 发布

LeeLeeLee钟硕

最新推荐文章于 2024-08-04 21:08:26 发布

阅读量4.9k

点赞数 9

分类专栏：机器学习文章标签： ID3 决策树周志华机器学习 Decision Tree

本文链接：https://blog.csdn.net/xeonmm1/article/details/84075066

版权

机器学习专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1.用到的主要三条熵公式：

1.1 信息熵 详情见香农信息论概率越平衡事件所含有的信息量越大

$Ent(D) = -\sum_{k=1}^{\left | y \right |} p_{k}log_{2}p_{k}$

1.2 条件熵 代表某一属性下不同分类的信息熵之和

$EntCondition(D^{v}) = \sum_{v=1}^{\left | V \right |} \frac{\left |D^{v} \right |}{\left |D \right |}Ent(D^{v})$

1.3 信息增益 等于信息熵减去条件熵，从数值上，越大的信息增益在信息熵一定的情况下，代表条件熵越小，条件熵越小，即该分类下的不平衡性越大

$Gain(D,a) = Ent(D) - \sum_{v=1}^{\left | V \right |} \frac{\left |D^{v} \right |}{\left |D \right |}Ent(D^{v})$

2.西瓜数据集2.0的详细手算结点划分原创的Excel方法

zhonglihao 即本人原创的这个excel计算方法适合初学者理解计算过程，不会迷糊

西瓜数据集2.0 （版权来自周志华教授-《机器学习》）

表1
编号	色泽	根蒂	敲声	纹理	肚脐	触感	好瓜
1	青绿	蜷缩	浊响	清晰	凹陷	硬滑	是
2	乌黑	蜷缩	沉闷	清晰	凹陷	硬滑	是
3	乌黑	蜷缩	浊响	清晰	凹陷	硬滑	是
4	青绿	蜷缩	沉闷	清晰	凹陷	硬滑	是
5	浅白	蜷缩	浊响	清晰	凹陷	硬滑	是
6	青绿	稍蜷	浊响	清晰	稍凹	软粘	是
7	乌黑	稍蜷	浊响	稍糊	稍凹	软粘	是
8	乌黑	稍蜷	浊响	清晰	稍凹	硬滑	是
9	乌黑	稍蜷	沉闷	稍糊	稍凹	硬滑	否
10	青绿	硬挺	清脆	清晰	平坦	软粘	否
11	浅白	硬挺	清脆	模糊	平坦	硬滑	否
12	浅白	蜷缩	浊响	模糊	平坦	软粘	否
13	青绿	稍蜷	浊响	稍糊	凹陷	硬滑	否
14	浅白	稍蜷	沉闷	稍糊	凹陷	硬滑	否
15	乌黑	稍蜷	浊响	清晰	稍凹	软粘	否
16	浅白	蜷缩	浊响	模糊	平坦	硬滑	否
17	青绿	蜷缩	沉闷	稍糊	稍凹	硬滑	否

step 1 首先，统计每个属性下的分类计数，计算完可验证一下是否加起来的和等于17：

表2
属性计数表
色泽	根蒂	敲声	纹理	肚脐	触感
青绿 = 6	蜷缩 = 8	沉闷 = 5	清晰 = 9	凹陷 = 7	硬滑 = 12
乌黑 = 6	稍蜷 = 7	浊响 = 10	稍糊 = 5	稍凹 = 6	软粘 = 5
浅白 = 5	硬挺 = 2	清脆 = 2	模糊 = 3	平坦 = 4

step 2 然后，在分类下统计该分类的正例(是好瓜)和反例(不是好瓜)的计数，通过加起来确定是否等于属性分类的计数：

这样我们就可以去计算条件熵了

表3

属性子分类标签计数（是否好瓜是：否）

色泽

根蒂

敲声

纹理

肚脐

触感

青绿

6 = 3:3

蜷缩

8 = 5:3

沉闷

5 = 2:3

清晰

9 = 7:2

凹陷

7 = 5:2

硬滑

12 = 6:6

乌黑

6 = 4:2

稍蜷

7 = 3:4

浊响

10 = 6:4

稍糊

5 = 1:4

稍凹

6 = 3:3

软粘

5 = 2:3

浅白

5 = 1:4

硬挺

2 = 0:2

清脆

2 = 0:2

模糊

3 = 0:3

平坦

4 = 0:4

step 3 通过上表先计算每一个属性分类的信息熵（公式1），若信息熵中有正例或反例为0，则整个信息熵公式的计算值为0，可以对比一下上表和下表的值：

表4
计算属性下单个分类的信息熵
色泽	根蒂	敲声	纹理	肚脐	触感
青绿	蜷缩	沉闷	清晰	凹陷	硬滑
乌黑	稍蜷	浊响	稍糊	稍凹	软粘
浅白	硬挺	清脆	模糊	平坦

1	0.954434003	0.970950594	0.764204507	0.863120569	1
0.918295834	0.985228136	0.970950594	0.721928095	1	0.970950594
0.721928095	0	0	0	0

step 4 根据条件熵公式计算每个属性分类在该属性中的比例如青绿分类所示为6个青绿分类除以17个样本，其余的计算雷同：

表5
计算属性下分类除以所有样本的比例
色泽	根蒂	敲声	纹理	肚脐	触感
青绿	蜷缩	沉闷	清晰	凹陷	硬滑
乌黑	稍蜷	浊响	稍糊	稍凹	软粘
浅白	硬挺	清脆	模糊	平坦

6/17 = 0.352941176	0.470588235	0.294117647	0.529411765	0.411764706	0.705882353
0.352941176	0.411764706	0.588235294	0.294117647	0.352941176	0.294117647
0.294117647	0.117647059	0.117647059	0.176470588	0.235294118