【深度之眼】六：分类 —— 预测隐形眼镜类型【决策树】

版权声明：本文为博主原创文章，未经博主允许不得转载。

---

---

一、数据下载

• 链接：
• 提取码：

二、问题思考

• 在构建一个决策树模型时，我们对某个属性分割节点，下面四张图中，哪个属性对应的信息增益最大？ 答案：A
  
• A. outlook    B. humidity   C. windy   D. temperature

• 解析：李航的《统计学习方法》中，对信息增益有如下定义：特征 A 对训练数据集 D 的信息增益 g(D,A)，定义为集合 D 的 经验熵 H(D) 与 特征 A 给定条件下 D 的经验条件熵 H(D|A) 之差，即 g(D,A) = H(D) - H(D|A)
  
  这一题，我们先计算经验熵 H(D)：H(D) = -9/14 * log(9/14) - 5/14 * log(5/14) = 0.6518
  

• 图一中，经验条件熵 H(D|A) 为：H(D|A) = 5/14 * (-2/5log(2/5)-3/5log(3/5)) + 4/14 (-1log(1)-0) + 5/14 * (-3/5log(3/5)-2/5log(2/5)) = 0.4807
  
  图一的信息增益为：g(D,A) = H(D) - H(D|A) = 0.6518 - 0.4807 = 0.1711

• 图二中，经验条件熵 H(D|A) 为：H(D|A) = 7/14 * (-3/7log(3/7)-4/7log(4/7)) + 7/14 * (-6/7log(6/7)-1/7log(1/7)) = 0.5465
  
  图二的信息增益为：g(D,A) = H(D) - H(D|A) = 0.6518 - 0.5465 = 0.1053

• 图三中，经验条件熵 H(D|A) 为：H(D|A) = 8/14 * (-6/8log(6/8)-2/8log(2/8)) + 6/14 * (-3/6log(3/6)-3/6log(3/6)) = 0.6184
  
  图三的信息增益为：g(D,A) = H(D) - H(D|A) = 0.6518 - 0.6184 = 0.0334

• 图四中，经验条件熵 H(D|A) 为：H(D|A) = 4/14 * (-2/4log(2/4)-2/4log(2/4)) + 6/14 (-4/6log(4/6)-2/6log(2/6)) + 4/14 * (-3/4log(3/4)-1/4*log(1/4)) = 0.6315
  
  图四的信息增益为：g(D,A) = H(D) - H(D|A) = 0.6518 - 0.6315 = 0.0203
  
• 显然，图一 outlook 对应的信息增益最大

---

版权声明：本文为博主原创文章，未经博主允许不得转载。