ID3 (计算信息增益) 年龄 长相 工资 写代码 类别 小A 老 帅 高 不会 不见 小B 年轻 一般 中等 会 不见 小C 年轻 丑 高 不会 见 小D 年轻 一般 高 会 见 小L 年轻 一般 低 不会 不见 信息增益 g(D, A) = 经验熵 H(D) - 经验条件熵 H(D|A) : 经验熵: D是本集合的元素个数,Ck是样本集合D中属于第k类的样本子集。在上面例子中,样本子集分两种:见和不见,见的Ck=2,不见的Ck=3。因此,经验熵: