从理论角度再看decision trees

A useful view of decision trees
翻译太难了，还是看原文吧，就罗列了一下公式

简介

学习机器学习课程时，首先学习的是ID3决策树。ID3和其他相关的决策树模型非常好描述和实现，所以经常在这类课程的前段教授，但是可惜的是，很多决策树的课程都终止这种特殊的模型描述。

一开始学习决策树的时候，我以为决策树这种特殊的模型描述是完全出自工程方面的考量，而不是理论方面的推导：模型非常有效，但是没有很好的理论支撑。但是最后发现可以从理论上很好的推导出ID3类决策树。将其记录在此，因为很少有文章提到决策树的理论。

预备知识：

• the basics of decision tree learning algorithms
• maximum likelihood estimation
• learning by optimizing a loss function

结论

决策树模型描述中 有个重要的部分：树节点分裂准则。为什么分裂信息增益最大的节点能够得到一个好的分类器呢？从直觉上，这种分类方法是有用的，但是为什么不使用一些其它的准则呢，比如少数类样本和(sum of minority class frequencies)？

事实上，决策树可以看做在贪心地学习piecewise-constant,expected-loss-minimizing的近似函数$f(X)=P(Y=1|X)=c$ ，大多数流行的节点分裂准则都能从中推导出来。 比如信息增益其实是最大化数据的期望log-likelihood。gini则是最小化了模型的Brier score， Variance reducetion 则是最小化模型的均方误差

符号描述

$X$是空间$S\in R^p$中的一个数据点， Y ∈ { 0 , 1 } Y \in \{0,1\} Y∈{0,1}为类别标签。 假设$Y$由$X$的函数$f(X)=P(Y=1|X)$确定。可以将决策树看做贪心的学习一个分段常数$\hat{f}$去近似函数$f$:

$\hat{f}$初始为一个常量，然后搜索所有的特征$i$和分裂值$t$，数据空间$S$被划分为 S _ = { s ∈ S : s i &lt; t } S\_=\{s \in S:s_i&lt;t\} S_={s∈S:si​<t}和 S + = { s ∈ S : s i ≥ t } S_+=\{s \in S:s_i \geq t\} S+​={s∈S:si​≥t}。然后评估分段常数函数在两个分裂空间中的性能。选择性能最好的$i$和$j$，并递归的对子空间进行划分。最后组合所有的分段常数函数，构成全局的函数分类函数。

我对怎么评估一个分裂节点的好坏不是很理解，但是恰恰和损失函数相关，在传统的决策树观点中通过比较父节点的纯度与每个子节点的带权重纯度均值来分裂节点的好坏。

information-gain/log-likelihood

如果你的分类准则是信息增益，对应的损失函数则是log-likelihood损失函数。

如果在区域$S$内，函数$\hat{f}$近似于$f$, 最大化数据的expected log-likelihood：
$L(\hat{f})=E(logP(Y=Y_{observed}|X,f=\hat{f}))$
$={\sum }_{X_i}\log \hat{f}(X_i)+(1-Y_i)log(1-\hat{f}(X_i))$

首先，要找到常数值$\hat{f}(X)=f$，使得$L(\hat{f})$最大化。直觉上，数据点被判定为正例的概率为数据集中观察为正例的比率。

假设共有$n$个实例，$Y=1$的正样本共有$p$个，其余为负样本：
$$L(\hat{f})=\frac{p}{n}logf+\frac{n-p}{n}log(1-f)$$
求导，并且令导数为0：
$$0=\frac{p}{nf}-\frac{n-p}{n(1-f)}$$
可以得到$f=\frac{p}{n}$

Gimi impurity / Brier Score

模型$\hat{f}$的brier score 为：
$$B(\hat{f})=E((Y-\hat{f}(X){)}^2)$$
最小化$B(\hat{f})$：
$$B(\hat{f})=(1-\hat{f}(X){)}^{2}P(Y_{observed}=1)+\hat{f}(X{)}^{2}P(Y_{observed}=0)$$
将$\hat{f}=f=p/n$带入：
$$B(\hat{f})=(1-f{)}^{2}f+f^2(1-f)=f(1-f)$$
Gini impurity如下：
$I_G(p)={\sum }_{i=1}^J{p}_i{\sum }_{k̸=i}{p}_k={\sum }_{i=1}^J{p}_i(1-p_i)$
$={\sum }_{i=1}^J(p_i-p_i^2)={\sum }_{i=1}^J{p}_i-{\sum }_{i=1}^J{p}_i^2=1-{\sum }_{i=1}^J{p}_i^2$