决策树算法ID3/C4.5/CART手算案例

决策树算法ID3/C4.5/CART手算案例

已知如下训练数据集（最后一列为类别），利用ID3算法、C4.5算法、CART算法分别建立分类决策树。要求写出计算过程并画出决策树。 （计算结果每步均保留小数点2位）。

1. ID3算法：使用信息增益作为评价特征重要性的指标

$H(D)$表示总体的信息熵，$A_1、A_2$分别表示特征1：是否用鳃呼吸；特征2：有无鱼鳍；

$$H_{A_2}(D)=-\frac{2}{3}lo{g}_2\frac{2}{3}-\frac{1}{3}lo{g}_2\frac{1}{3}=0.918$$

由以上结果知：$g(D,A_1)>g(D,A_2)$,

• 信息增益越大，特征越重要；因此首先选择特征$A_1$，绘制决策树如下：

2. C4.5算法：利用信息增益率做为评价特征重要性的指标

由以上结果可知$g_R(D,A_1)>g_R(D,A_2)$,

• 信息增益率越大，特征越重要；因此首先选择特征$A_1$，绘制决策树如下：
  

3. CART算法：利用基尼系数作为评价特征重要性的指标

$$gini(D)=2p(1-p)=2\ast \frac{3}{5}\ast \frac{2}{5}=0.48$$

$$gini(D^1,A_2)=1-[(\frac{2}{3}{)}^2+(\frac{1}{3}{)}^2]=0.44$$

由以上计算结果可知$gini(D,A_2)>gini(D,A_1)$,

• 基尼系数越小，特征越重要，所以首先选择特征$A_1$，绘制决策树如下：