机器学习 之 决策树

决策树是一种机器学习的方法。决策树的生成算法有ID3, C4.5和C5.0等。

就是这么一个东西，但这种东西是自动生成的，如何生成这个，就是各种算法了。

这是有监督学习。监管学习就是给出一堆样本，每个样本都有一组属性和一个分类结果，也就是分类结果已知，非监督学习就是分类未知。

所以决策树的生成主要分以下两步：

1. 节点的分裂：一般当一个节点所代表的属性无法给出判断时(毕竟最后是要分类的，如果能区分的话，那就到此为止了)，则选择将这一节点分成2个子节点（如不是二叉树的情况会分成n个子节点）
2. 阈值的确定：选择适当的阈值使得分类错误率最小 （Training Error）(例如两个分类，甭管是什么阙值，都会有错误，这是一定可能存在的(例如作业正确率小于10%，但他仍然是一个好学生)，因此确定阙值是很重要的)。

比较常用的决策树有信息增益（ID3 算法）、信息增益率（C4.5 算法）以及基尼指数（Cart 算法）（Classification And Regression Tree），CART的分类效果一般优于其他决策树。

ID3: 由增熵（Entropy）原理来决定哪个节点需要分裂，哪个做父节点。对于一组数据，熵越小说明分类结果越好。熵定义如下：
$$Entropy＝-\sum _{i=1}^n[p(x_i)\ast lo{g}_2(P(x_i)]$$

其中$p(x_i)$ 为$x_i$出现的概率(在训练集中占据的比例)。假如是2分类问题，当A类和B类各占50%的时候，
$$Entropy=-（0.5\ast lo{g}_2(0.5)+0.5\ast lo{g}_2(0.5))=1$$

因为概率只在0~1之间，因此log必然为负数，且越来越趋近于0，或者说，加上一个符号就是递减的，再乘以对应的权值，可以想象，当熵值最大时，肯定是一半一半的(为1)。当只有A类，或只有B类的时候，只有当只有某一类的时候，它是最小的为0。
$$Entropy=-（1\ast lo{g}_2(1）+0）=0$$

所以当Entropy最大为1的时候，是分类效果最差的状态，当它最小为0的时候，是完全分类的状态。因为熵等于零是我们想要的状态，一般实际情况下，熵介于0和1之间。熵的不断最小化，实际上就是提高分类正确率的过程。

例如：

1. 分数小于70为【不是好学生】：分错1个
2. 出勤率大于70为【好学生】：分错3个
3. 问题回答次数大于9为【好学生】：分错2个
4. 作业提交率大于80%为【好学生】：分错2个

然后这里有信息增益公式：
$$Gain(D,a)=Entropy(D)-\sum _{i=1}^k\frac{D_i}{D}Entropy(D_i)$$

谁的增益大选谁。每次都要计算。直到分裂完所有条件。

ID3有一个问题，有些属性可能对分类任务没有太大作用，但是他们仍然可能会被选为最优属性(倾向于选择取值多的属性(论域比较广，就会被划分成很多份导致样本减少导致纯度上升))。
还存在一个问题，那就是越细小的分割分类错误率越小，所以ID3会越分越细(最后的样本会越来越少，这样会使分错的一些数据直达最后)，如果条件很多，分到最后可能就一两个样本了，分割太细了，训练数据的分类可以达到0错误率，但是因为新的数据和训练数据不同，所以面对新的数据分错率反倒上升了。因为这时候误差将影响很大，这就是所说的过度学习（Overfitting）。

所以为了避免分割太细，C4.5对ID3进行了改进，C4.5中，优化项要除以分割太细的代价，这个比值叫做信息增益率(信息增益率/属性熵)(信息增益率上升，样本少的属性熵也会上升，所以整体的信息增益率并不大)，显然分割太细分母增加，信息增益率会降低。除此之外，其他的原理和ID3相同(用信息增益率代替了信息增益)。

构造决策树后，采用悲观剪枝(PEP)。

CART(分类回归树)是一个二叉树，也是回归树，同时也是分类树，CART的构成简单明了。

CART只能将一个父节点分为2个子节点。CART用GINI指数来决定如何分裂，
GINI指数：总体内包含的类别越杂乱，GINI指数就越大（跟熵的概念很相似）。

a. 比如出勤率大于70%这个条件将训练数据分成两组：大于70%里面有两类：【好学生】和【不是好学生】，而小于等于70%里也有两类：【好学生】和【不是好学生】。
b. 如果用分数小于70分来分：则小于70分只有【不是好学生】一类，而大于等于70分有【好学生】和【不是好学生】两类。

比较a和b，发现b的凌乱程度比a要小，即GINI指数b比a小，所以选择b的方案。以此为例，将所有条件列出来，选择GINI指数最小的方案，这个和熵的概念很类似。

CART还是一个回归树，回归解析用来决定分布是否终止。理想地说每一个叶节点里都只有一个类别时分类应该停止，但是很多数据并不容易完全划分，或者完全划分需要很多次分裂，必然造成很长的运行时间，所以CART可以对每个叶节点里的数据分析其均值方差，当方差小于一定值可以终止分裂，以换取计算成本的降低。

CART和ID3一样，存在偏向细小分割，即过度学习（过度拟合的问题），为了解决这一问题，对特别长的树进行剪枝处理，直接剪掉。

以上的决策树训练的时候，一般会采取Cross-Validation法：比如一共有10组数据：

第一次. 1到9做训练数据， 10做测试数据

第二次. 2到10做训练数据，1做测试数据

第三次. 1，3到10做训练数据，2做测试数据，以此类推

做10次，然后大平均错误率。这样称为 10 folds Cross-Validation。

比如 3 folds Cross-Validation 指的是数据分3份，2份做训练，1份做测试。