《机器学习》 决策树 ID3算法

一、什么是决策树？

1、概念

        决策树是机器学习中一种常见的分类和回归算法。它基于树状结构的模型，通过对数据进行逐步划分，最终生成一棵决策树来进行预测或分类任务。

        在决策树中，每个节点代表一个特征或属性，每个分支代表该特征的不同取值，而每个叶节点代表一个类别或者一个预测结果。

        决策树的构建过程通过选择最优的特征和划分点来进行。这个选择过程通常基于一些衡量指标，比如信息增益、基尼指数等，来选择最能区分不同类别的特征进行划分。递归地对数据集进行划分，直到满足某个停止条件，例如达到最大深度、样本数量不足等。这样就生成了一棵完整的决策树模型。

2、优缺点

        易于理解和解释，能够处理离散和连续型特征，对缺失值和异常值具有鲁棒性，同时可以处理多分类问题。

        容易过拟合训练数据，对噪声敏感，不适合处理高维稀疏数据。针对这些问题，可以采用剪枝、集成学习等方法进行改进。

 

3、核心

        所有数据从根节点一步一步落到叶子结点

        例如下图，房产是根节点，下面的车辆、年收入是非叶子节点，那么其结果可以贷款和不可贷款就是叶子结点

4、需要考虑的问题

1）哪个节点作为根节点？哪些节点作为中间节点？哪些节点作为叶子结点？

2）节点如何分裂？

3）节点分裂标准的依据是什么？

二、决策树分类标准，ID3算法

1、什么是ID3 算法

        衡量标准：熵值，熵值表示随机变量不确定性的度量，或者说是物体内部的混乱程度。

        用于根据给定的训练数据集构建决策树模型，其基本思想是在每个节点上选择最佳的属性来进行划分，以使得划分后的子节点中的样本尽可能属于同一类别。

        ID3算法通过计算每个属性的信息增益来度量属性选择的好坏。信息增益反映了在已知某个属性的取值的条件下，对类别的不确定性减少了多少。在每个节点上选择信息增益最大的属性作为划分依据，递归地构建决策树。

        其缺点是仅适用于处理离散型属性，不适用于处理连续型属性。此外，ID3算法在处理缺失数据时也存在问题。

2、ID3算法怎么用

1）熵值计算公式

2）用法实例

        集合A：[1,1,1,1,1,1,1,1,2,2]，共10项

        集合B：[0,1,2,3,4,5,6,7,8,9]，同样10项

        A的熵值为：1的概率乘上其log，2的概率乘上其log，然后再求和即可得到熵值

        即：-8/10 * log（8/10）-（2/10）log（2/10）=0.722

        同理：B的熵值为：（-1/10 log（1/10））*10=3.322

所以：B的熵值更大，其数据更混乱

三、实操 ID3算法

有如下数据图表，画出其决策树

1）求出play标签的熵值

result = -5/14log（5/14）- 9/14log（9/14）= 0.94

2）分别计算天气、温度、湿度、风、play的信息增益

        信息增益 = 标签的熵 - 总熵值

        总熵值 = 每列的不同种类熵值的比例求和

• 求outlook 总熵值及信息增益

sunny熵值 = -3/5log(3/5) - 2/5log(2/5) =0.97

overcast熵值 = -4/4log(4/4) = 0

rainy熵值 = -3/5log(3/5) - 2/5log(2/5) =0.97

outlook 总熵值 = 5/14 * sunny熵值 + 4/14 * overcast熵值 + 5/14 * rainy熵值 = 0.6929

信息增益 = 标签熵值 - 总熵值 = 0.2471

• 求temperature 总熵值及信息增益

hot熵值 = -2/4log（2/4）-2/4log（2/4）= 1.0

mild熵值 = -4/6log（4/6） -2/6log（2/6）= 0.92

cool熵值 = -1/4log（1/4） -3/4log（3/4）= 0.81

temperature总熵值 = 4/14 * 1.0 + 6/14 * 0.92 + 4/14 * 1.0 = 0.91

信息增益 = 0.94 - 0.91 = 0.03

• 求humidity总熵值及信息增益

high熵值 = -4/7log（4/7）- 3/7log（3/7）= 0.985

normal熵值 = -6/7log(6/7) - 1/7log(1/7) = 0.592

humidity总熵值 = 7/14*0.985 + 7/14*0.597 = 0.788

信息增益 = 0.94 - 0.788 = 0.152

• 求windy总熵值及信息增益

FALSE熵值 = -6/8log(6/8) - 2/8log(2/8) = 0.81

TRUE熵值 = -1/2log(1/2) - 1/2log(1/2）= 1.0

windy总熵值 = 8/14 *0.81 + 6/14*1.0 = 0.89

信息增益 = 0.94 - 0.89 = 0.05

由上述可得：

        outlook信息增益为：0.2471

        temperature信息增益为：0.03

        humidity信息增益为： 0.152

        windy信息增益为：0.05

        所以可知，outlook的信息增益最大，信息增益越大表示在划分属性上获得更多的信息，即在已知某个属性的取值的条件下，类别的不确定性减少了更多。因此，信息增益越大，说明选择该属性作为划分依据能够更好地区分不同类别的样本，所以将其当做根节点。

当前可以绘画出决策树根节点部分：

3）此时需要对sunny对应的块进行当做一个表来计算其内数值的熵：

• play标签的熵

        result = -3/5log（3/5） -2/5log（2/5）= 0.97

• 求temperature 总熵值及信息增益

        hot熵值 = -2/2log（2/2）= 0

        mild熵值 = -1/2log（1/2） -1/2log（1/2）= 1.0

        cool熵值 = -1 log 1 = 0

        总熵值 = 1/5 * 1 = 0.2

        信息增益 = 0.97 - 0.2 =0.77

• 求humidity总熵值及信息增益

        high熵值 = -1 log 1 = 0

        normal熵值 = -1 log 1 = 0

        总熵值 = 0

        信息增益 = 0.97 - 0 = 0.97

• 求windy总熵值及信息增益

        False熵值 = -1/3log（1/3）-2/3log（2/3）= 0.918

        TRUE熵值 = -1/2log（1/2） -1/2log（1/2）= 1.0

        总熵值 = 3/5 * 0.918 + 2/5 * 1 = 0.9508

        信息增益 = 0.97 - 0.9508 = 0.0192

        由上述可得最大信息增益为湿度humidity，所以可得出上述决策树图sunny对应的非叶子节点为湿度

此时可发现湿度为high是，标签为no，湿度为normal时，标签为yes，如下图所示：

4）此时需要对rainy对应的块进行当做一个表来计算其内数值的熵：

• play标签的熵

        result = -3/5log（3/5） -2/5log（2/5）= 0.97

• 求temperature 总熵值及信息增益

        mild熵值 = -1/3log（1/3）-2/3log（2/3）= 0.918

        cool熵值 =  -1/2log（1/2） -1/2log（1/2）= 1.0

        总熵值 = 0.918 * 3/5 + 1 * 2/5 = 0.9508

        信息增益 = 0.97 - 0.9508 = 0.0192

• 求humidity总熵值及信息增益

        high熵值 = -1/2log（1/2） -1/2log（1/2）= 1.0

        normal熵值 =  -1/3log（1/3）-2/3log（2/3）= 0.918

        总熵值 = 1 * 2/5 + 0.918 * 3/5 = 0.9508

        信息增益 = 0.97 - 0.9508 = 0.0192

• 求windy总熵值及信息增益

        False熵值 = 0

        TRUE熵值 = 0

        总熵值 = 0

        信息增益 = 0.97 

所以可得出上述rainy对应非叶子结点的项为windy

然后再观察可得到风为FALSE时标签为yes，风为TRUE时，标签为no

所以得出完整决策树图片：