机器学习之三：决策树

一、基本流程

决策树通过“分而治之”的策略，采用递归的方式学习得到树结构，目标为学习一个泛化能力强的决策树。有三种情形会导致递归返回：
1. 当前节点包含的样本均属于同一类别
2. 当前节点属性集为空或所有样本在所有属性上取值相同
3. 当前节点样本集为空
出现以上三种情况中的任意一种，该节点标记为叶节点，对1来说，该叶节点的类别即为样本类别；对2来说，该叶节点的类别为包含样本最多的类别；对3，叶节点的类别为其父节点中包含样本最多的类别。

二、划分选择

决策树学习的关键是如何选择最优划分属性，有三种常用的方法：

1. 信息增益（代表：ID3）

信息熵是度量样本集合纯度的一种常用指标，设集合D中第$k$类样本所占比例为$p_k$，则D的信息熵定义为

$$Ent(D) = -\sum_{k=1}^{K}p_klog_{2}{p_k}$$ D的信息熵越小，D的纯度越高。
若离散属性a有V个可能的取值，则用属性a对样本集D进行划分所获得的信息增益