机器学习笔记（二）：决策树

决策树做决策类似于下面的流程图：

怎么构建决策树：

1.特征选取：选取信息增益（在划分数据集之后信息发生的变化称为信息增益）最高的特征最为最优特征。

信息增益越大，特征对最终的分类结果影响也就越大，我们就应该选择对最终分类结果影响最大的那个特征作为我们的分类特征。

特征A对训练数据集D的信息增益g(D,A)定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差： 

设有K个类Ck, = 1,2,3,...,K,|Ck|为属于类Ck的样本个数，集合D的经验熵H(D)：

特征A给定条件下D的经验条件熵H(D|A)：

2.决策树的生成：通过递归的方法不断的选出最优特征，递归的生成决策树

3.决策树的修剪

 

解释得比较详细的博客：决策树原理和实战