AI_Homework_ch8-CSDN博客

本文链接：https://blog.csdn.net/weixin_61595382/article/details/138142993

监督学习

[决策树] 基于信息增益，对下述数据集进行决策树构建，描述过程。一个关于配眼镜的一个决策分类所需要的数据，数据集包含4属性：age, astigmatism, trear-prod-rate为输入特征，contact-lenses为决策属性。

在这里插入图片描述

由上表可知，一共有12个训练样本， $|\mathcal{Y}|=3$ ，其中soft有2个（编号{1，5}），hard有3个（编号{3，6，12}），none有7个（编号{2，4，7，8，9，10，11}），于是可以得到根节点的信息熵为：
$H(D)=-\sum\limits_{k=1}^3 p_k \log_{2}{p_k}=-(\frac{2}{12}\log_2{\frac{2}{12}}+\frac{3}{12}\log_2\frac{3}{12}+\frac{7}{12}\log_2\frac{7}{12})=1.384$
对于age特征，其对应有3个子数据集，分别是： $D^1(young), D^2(pre-presbyopic), D^3(presbyopic)$ ，其中 $D^1|=3, |D^2|=5,|D^3|=4$ ，子集 $D^1$ 中，soft占 $\frac{1}{3}$ ，none占 $\frac{1}{3}$ ，hard占 $\frac{1}{3}$ ， $D^2, D^3$ 同理，于是可以计算age的3个节点的信息熵为：

$H(D^1)=-(\frac{1}{3}\log_{2}{\frac{1}{3}}+\frac{1}{3}\log_{2}{\frac{1}{3}}+\frac{1}{3}\log_{2}{\frac{1}{3}})=1.585$
$H(D^2)=-(\frac{1}{5}\log_{2}{\frac{1}{5}}+\frac{1}{5}\log_{2}{\frac{1}{5}}+\frac{3}{5}\log_{2}{\frac{3}{5}})=1.371$
$H(D^3)=-(\frac{1}{4}\log_{2}{\frac{1}{4}}+\frac{3}{4}\log_{2}{\frac{3}{4}})=0.811$

age属性的信息增益为 $G(D,age)=H(D)-\sum\limits_{v=1}^{3}\frac{D^v}{D}\cdot H(D^v)=1.384-(\frac{3}{12}\cdot 1.585+\frac{5}{12}\cdot 1.371+\frac{4}{12}\cdot 0.811)=1.384-1.238=0.146$
同理对于astigmatism特征，分为两个子数据集， $D^1(yes),D^2(no)$ ，计算出信息增益： $G(D,astigmatism)=H(D)-\sum\limits_{v=1}^2\frac{D^u}{D}\cdot H(D^u)$

$=1.384-\left(\frac{5}{12}\left(-\left(\frac{2}{5}\log_{2}{\frac{2}{5}}+\frac{3}{5}\log_{2}{\frac{3}{5}}\right)\right)+\frac{7}{12}\left(-\left(\frac{3}{7}\log_{2}{\frac{3}{7}}+\frac{4}{7}\log_{2}{\frac{4}{7}}\right)\right)\right)$