2022秋季《人工智能》_ch08

最新推荐文章于 2023-05-25 23:39:36 发布

rd142857

最新推荐文章于 2023-05-25 23:39:36 发布

阅读量2.2k

点赞数 1

分类专栏：人工智能文章标签：决策树

本文链接：https://blog.csdn.net/rd142857/article/details/124364576

版权

人工智能专栏收录该内容

8 篇文章 6 订阅

订阅专栏

题目

基于信息增益，对下述数据集进行决策树构建，描述过程

一个关于配眼镜的一个决策分类所需要的数据，数据集包含4属性：age, astigmatism, trear-prod-rate为输入特征，contact-lenses为决策属性。

在这里插入图片描述

属性集 $A=\{AGE,AST,TEA\}$ ，类别为 $C O N$ 。计算根节点的信息熵
$Ent(D)=-(\frac{2}{12}\log_2{\frac{2}{12}}+\frac{3}{12}\log_2{\frac{3}{12}}+\frac{7}{12}\log_2{\frac{7}{12}})=1.384$
计算每个属性的信息熵和信息增益，记 $p(soft)=p_1,p(hard)=p_2,p(none)=p_3$ ，

$A G E$

有三个可能取值 ${young,pre-pre,pre\}$ ，对应下标 $1, 2, 3$
$\begin{aligned} &D^1=\{1,2,3\} \quad p_1=\frac{1}{3},\ p_2=\frac{1}{3},\ p_3=\frac{1}{3} \quad Ent(D^1)=-(\frac{1}{3}\log_2{\frac{1}{3}}+\frac{1}{3}\log_2{\frac{1}{3}}+\frac{1}{3}\log_2{\frac{1}{3}})=1.585 \\ &D^2=\{4,5,6,7,8\} \quad p_1=\frac{1}{5},\ p_2=\frac{1}{5},\ p_3=\frac{3}{5} \quad Ent(D^2)=-(\frac{1}{5}\log_2{\frac{1}{5}}+\frac{1}{5}\log_2{\frac{1}{5}}+\frac{3}{5}\log_2{\frac{3}{5}})=1.371 \\ &D^3=\{9,10,11,12\} \quad p_1=0,\ p_2=\frac{1}{4},\ p_3=\frac{3}{4} \quad Ent(D^3)=-(\frac{1}{4}\log_2{\frac{1}{4}}+\frac{3}{4}\log_2{\frac{3}{4}})=0.811 \\ &Gain(D,AGE)=Ent(D)-\sum_{v=1}^3 \frac{|D^v|}{|D|}Ent(D^v)=1.384-\frac{3}{12}\times 1.585-\frac{5}{12}\times 1.371-\frac{4}{12}\times 0.811=0.146 \end{aligned}$
$A S T$

有两个可能取值 ${yes,no\}$ ，对应下标 $1, 2$
$\begin{aligned} &D^1=\{2,3,6,7,8,11,12\} \quad p_1=0,\ p_2=\frac{3}{7},\ p_3=\frac{4}{7} \quad Ent(D^1)=-(\frac{3}{7}\log_2{\frac{3}{7}}+\frac{4}{7}\log_2{\frac{4}{7}})=0.985 \\ &D^2=\{1,4,5,9,10\} \quad p_1=\frac{2}{5},\ p_2=0,\ p_3=\frac{3}{5} \quad Ent(D^2)=-(\frac{2}{5}\log_2{\frac{2}{5}}+\frac{3}{5}\log_2{\frac{3}{5}})=0.971 \\ &Gain(D,AST)=Ent(D)-\sum_{v=1}^2 \frac{|D^v|}{|D|}Ent(D^v)=1.384-\frac{7}{12}\times 0.985-\frac{5}{12}\times 0.971=0.405 \end{aligned}$
$T E A$

有两个可能的取值 ${normal,reduced\}$ ，对应下标 $1, 2$
$\begin{aligned} &D^1=\{1,3,5,6,7,8,10,12\} \quad p_1=\frac{2}{8},\ p_2=\frac{3}{8},\ p_3=\frac{3}{8} \quad Ent(D^1)=-(\frac{2}{8}\log_2{\frac{2}{8}}+\frac{3}{8}\log_2{\frac{3}{8}}+\frac{3}{8}\log_2{\frac{3}{8}})=1.561 \\ &D^2=\{2,4,9,11\} \quad p_1=0,\ p_2=0,\ p_3=1 \quad Ent(D^2)=-(1\log_2{1})=0 \\ &Gain(D,TEA)=Ent(D)-\sum_{v=1}^2 \frac{|D^v|}{|D|}Ent(D^v)=1.384-\frac{8}{12}\times 1.561-\frac{5}{12}\times 0=0.343 \end{aligned}$

于是， $G a i n (D, A S T)$ 最大，选它为划分属性，

在这里插入图片描述

对左分支节点划分，可用属性集 $A=\{AGE,TEA\}$ ，类别为 $C O N$ 。该节点的信息熵 $Ent(D^1)=0.985$ 。计算每个属性的信息熵和信息增益，记 $p(soft)=p_1,p(hard)=p_2,p(none)=p_3$ ，

$A G E$

有三个可能取值 ${young,pre-pre,pre\}$ ，对应下标 $1, 2, 3$
$\begin{aligned} &D^{11}=\{2,3\} \quad p_1=0,\ p_2=\frac{1}{2},\ p_3=\frac{1}{2} \quad Ent(D^{11})=-(\frac{1}{2}\log_2{\frac{1}{2}}+\frac{1}{2}\log_2{\frac{1}{2}})=1.000 \\ &D^{12}=\{6,7,8\} \quad p_1=0,\ p_2=\frac{1}{3},\ p_3=\frac{2}{3} \quad Ent(D^{12})=-(\frac{1}{3}\log_2{\frac{1}{3}}+\frac{2}{3}\log_2{\frac{2}{3}})=0.918 \\ &D^{13}=\{11,12\} \quad p_1=0,\ p_2=\frac{1}{2},\ p_3=\frac{1}{2} \quad Ent(D^{13})=-(\frac{1}{2}\log_2{\frac{1}{2}}+\frac{1}{2}\log_2{\frac{1}{2}})=1.000 \\ &Gain(D^1,AGE)=Ent(D)-\sum_{v=1}^3 \frac{|D^{1v}|}{|D^1|}Ent(D^{1v})=0.985-\frac{2}{7}\times 1.000-\frac{3}{7}\times 0.918-\frac{2}{7}\times 1.000=0.020 \end{aligned}$
$T E A$

有两个可能的取值 ${normal,reduced\}$ ，对应下标 $1, 2$
$\begin{aligned} &D^{11}=\{3,6,7,8,12\} \quad p_1=0,\ p_2=\frac{3}{5},\ p_3=\frac{2}{5} \quad Ent(D^1)=-(\frac{3}{5}\log_2{\frac{3}{5}}+\frac{2}{5}\log_2{\frac{2}{5}})=0.971 \\ &D^{12}=\{2,11\} \quad p_1=0,\ p_2=0,\ p_3=1 \quad Ent(D^2)=-(1\log_2{1})=0 \\ &Gain(D^1,TEA)=Ent(D^1)-\sum_{v=1}^2 \frac{|D^{1v}|}{|D^1|}Ent(D^{1v})=0.985-\frac{5}{7}\times 0.971-\frac{2}{7}\times 0=0.291 \end{aligned}$

于是， $Gain(D^1,TEA)$ 最大，选它为划分属性，

在这里插入图片描述

继续对左分支节点划分，可用属性集 $A=\{AGE\}$ ，类别为 $C O N$ 。选它为划分属性，得到 $D^{111},D^{112},D^{113}$ ，此时属性集合为空，将这三个节点设为叶子节点，其中 $D^{112}$ 中 $p_2=\frac{1}{3},p_3=\frac{2}{3}$ ，因此将 $D^{112}$ 对应叶子节点标注为 $n o n e$ 类别，其余两个节点中只有一个样本，将叶子节点标记为对应样本类别，返回。考察 $D^{12}$ ，包含样本均属同一类别 $n o n e$ ，则将 $D^{12}$ 标记为 $n o n e$ 。

在这里插入图片描述

回到一层，对一层右分支节点划分，可用属性集 $A=\{AGE,TEA\}$ ，类别为 $C O N$ 。该节点的信息熵 $Ent(D^1)=0.971$ 。计算每个属性的信息熵和信息增益，记 $p(soft)=p_1,p(hard)=p_2,p(none)=p_3$ ，

$A G E$

有三个可能取值 ${young,pre-pre,pre\}$ ，对应下标 $1, 2, 3$
$\begin{aligned} &D^{21}=\{1\} \quad p_1=1,\ p_2=0,\ p_3=0 \quad Ent(D^{11})=-(1\log_2 1)=0.000 \\ &D^{22}=\{4,5\} \quad p_1=0,\ p_2=\frac{1}{2},\ p_3=\frac{1}{2} \quad Ent(D^{12})=-(\frac{1}{2}\log_2{\frac{1}{2}}+\frac{1}{2}\log_2{\frac{1}{2}})=1.000 \\ &D^{23}=\{9,10\} \quad p_1=0,\ p_2=0,\ p_3=1 \quad Ent(D^{13})=-(1\log_2{1})=0.000 \\ &Gain(D^2,AGE)=Ent(D^2)-\sum_{v=1}^3 \frac{|D^{2v}|}{|D^2|}Ent(D^{2v})=0.971-\frac{1}{5}\times 0.000-\frac{2}{5}\times 1.000-\frac{2}{5}\times 0.000=0.571 \end{aligned}$
$T E A$

有两个可能的取值 ${normal,reduced\}$ ，对应下标 $1, 2$
$\begin{aligned} &D^{21}=\{1,5,10\} \quad p_1=\frac{2}{3},\ p_2=0,\ p_3=\frac{1}{3} \quad Ent(D^1)=-(\frac{2}{3}\log_2{\frac{2}{3}}+\frac{1}{3}\log_2{\frac{1}{3}})=0.918 \\ &D^{22}=\{4,9\} \quad p_1=0,\ p_2=0,\ p_3=1 \quad Ent(D^2)=-(1\log_2{1})=0 \\ &Gain(D^2,TEA)=Ent(D^2)-\sum_{v=1}^2 \frac{|D^{2v}|}{|D^2|}Ent(D^{2v})=0.971-\frac{3}{5}\times 0.918=0.420 \end{aligned}$

于是， $Gain(D^2,AGE)$ 最大，选它为划分属性，

在这里插入图片描述

考察 $D^{21}$ ，由于只有一个样本，所以直接将 $D^{21}$ 设置为叶子节点，标记为 $s o f t$ ，返回到 $D^{22}$ .此时可用的属性集 $A=\{TEA\}$ ，选它为划分属性，此时属性集为空，将这两个节点设置为叶子节点，这两个叶子节点中都只有一个样本，于是标记为对应样本类别，返回。考察 $D^{23}$ ，其中样本全部属于类别 $n o n e$ ，所以直接将 $D^{23}$ 设置为叶子节点，标记为 $n o n e$ 。最终得到决策树

在这里插入图片描述

rd142857

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
2022秋季《人工智能》_ch08

题目基于信息增益，对下述数据集进行决策树构建，描述过程一个关于配眼镜的一个决策分类所需要的数据，数据集包含4属性：age, astigmatism, trear-prod-rate为输入特征，contact-lenses为决策属性。属性集A={AGE,AST,TEA}A=\{AGE,AST,TEA\}A={AGE,AST,TEA}，类别为CONCONCON。计算根节点的信息熵Ent(D)=−(212log⁡2212+312log⁡2312+712log⁡2712)=1.384Ent(D)=-(\
复制链接

扫一扫