李航统计学习 决策树 学习笔记

决策树(decision tree)是一种基本的分类与回归方法。
决策树模型呈树形结构。在分类问题中，表示基于特征对实例进行分类的过程，它可以人为是if-else规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。

if-else规则过程：
由决策树的根节点到叶节点的每一条路径对应一条规则；路径上内部结点的特征对应着规则的条件，而叶节点的类对应着规则的结论。

决策树本质是一组分类规则。

如何选择特征？
直观上，如果一个特征由更好的分类能力，就应该选择这个特征。信息增熵（information gain）能够很好地表示这一直观的准则。

随机变量的熵的定义：
$H(X)=- \sum_{i=1}^{n} p_i \log p_i$

条件熵$H(Y|X)$表示在已知随机变量X的条件下随机变量Y的不确定性。定义为X给定条件下的Y的条件概率分布的熵对X的数学期望：
$H(Y|X)= \sum_{i=1}^n p_i H(Y|X=x_i)$

一般地，熵H(Y)与条件熵H(Y|X)之差，成为互信息（mutual information）
信息增益（information gain）表示得知特征X的信息而使得类Y的信息不确定性减少的程度。
特征A对训练数据集D的信息增益 g(D,A)，定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差，即 g(D,A)=H(D)-H(D|A)

经验增益比。使用相对的概念来进行校正，这是特征选择的另一准则。
特征A对训练数据集D的信息增益比 $g_R (D,A) = \frac { g(D,A) } { H(D) }$