ID3算法应用举例

利用ID3算法实现从数据集归纳出决策树。

背景：
张三想要买一套房，可能左右他是否愿意购买这套房主要有四个方面的因素，这四种因素及可能出现的值如下表所示：

院子	车库数	楼层数	地理位置
大/小	1/2/3	2/3	城郊/市中心

张三看了14套房子，以下是这些房子具备的属性以及张三对于购买这些房子的意愿：

院子	车库数	楼层数	地理位置	是否愿意购买
大	3	2	城郊	是
小	2	3	市中心	是
小	1	3	市中心	否
小	2	3	城郊	是
大	3	3	市中心	是
大	2	3	市中心	是
小	2	2	市中心	否
小	3	3	城郊	是
大	1	2	市中心	是
大	1	3	城郊	是
小	3	2	城郊	是
大	2	2	城郊	否
大	1	2	城郊	是
小	1	2	城郊	否

在这14套房中，张三愿意购买的有10套，不愿意购买的有4套。由此可得原表格的熵为：
$$H(S)=-\frac{4}{14}lo{g}_2\frac{4}{14}-\frac{10}{14}lo{g}_2\frac{10}{14}$$
每个因素的信息增益：

院子	愿意	不愿意
大	6	1
小	4	3

$$G(S,院子)=H(S)-\frac{|S_{大}|}{|S|}H(S_{大})-\frac{|S_{小}|}{|S|}H(S_{小})=0.072$$

车库数	愿意	不愿意
1	3	2
2	3	2
3	4	0

$$G(S,车库数)=H(S)-\frac{|S_1|}{|S|}H(S_1)-\frac{|S_2|}{|S|}H(S_2)-\frac{|S_3}{|S|}$$