基础算法梳理任务3

1.信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）

信息熵：

 

联合熵：

条件熵：

信息增益：

信息增益比：

基尼不纯度：

基尼不纯度举例：

一个随机事件X ，P(X=0)= 0.5 ,P(X=1)=0.5

      那么基尼不纯度就为   P(X=0)*(1 - P(X=0)) +  P(X=1)*(1 - P(X=1))  = 0.5

 

       一个随机事件Y ，P(Y=0)= 0.1 ,P(Y=1)=0.9

      那么基尼不纯度就为P(Y=0)*(1 - P(Y=0)) +   P(Y=1)*(1 -P(Y=1))  = 0.18

     很明显 X比Y更混乱，因为两个都为0.5 很难判断哪个发生。而Y就确定得多，Y=1发生的概率很大。而基尼不纯度也就越小。

结论：

（1）基尼不纯度可以作为 衡量系统混乱程度的 标准；

（2）基尼不纯度越小，纯度越高，集合的有序程度越高，分类的效果越好；

（3）基尼不纯度为 0 时，表示集合类别一致；

（4）在决策树中，比较基尼不纯度的大小可以选择更好的决策条件（子节点）。

2.决策树的不同分类算法（ID3算法、C4.5、CART分类树）的原理及应用场景

 

ID3算法：

ID3算法避免了搜索不完整假设空间的一个主要风险：假设空间可能不包含目标函数。
ID3算法在搜索的每一步都使用当前的所有训练样例，大大降低了对个别训练样例错误的敏感性。
ID3算法在搜索过程中不进行回溯。所以，它易受无回溯的爬山搜索中的常见风险影响：收敛到局部最优而不是全局最优。
ID3算法只能处理离散值的属性，容易过拟合。

C4.5算法：

C4.5算法使用信息增益比作为划分训练数据集的特征，可以校正ID3算法偏向于选择取值较多的特征这一问题。

CART分类树：

CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限个单元，并在这些单元上确定预测的概率分布，也就是在输入给定的条件下输出的条件概率分布。

CART算法由以下两步组成：

决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大；
决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时损失函数最小作为剪枝的标准。
CART决策树的生成就是递归地构建二叉决策树的过程。CART决策树既可以用于分类也可以用于回归。本文我们仅讨论用于分类的CART。对分类树而言，CART用Gini系数最小化准则来进行特征选择，生成二叉树。 CART生成算法如下：

输入：训练数据集D，停止计算的条件；
输出：CART决策树。

根据训练数据集，从根结点开始，递归地对每个结点进行以下操作，构建二叉决策树：

(1)设结点的训练数据集为D，计算现有特征对该数据集的Gini系数。此时，对每一个特征A，对其可能取的每个值a，根据样本点对A=a的测试为“是”或 “否”将D分割成D1和D2两部分，计算A=a时的Gini系数。
(2)在所有可能的特征A以及它们所有可能的切分点a中，选择Gini系数最小的特征及其对应的切分点作为最优特征与最优切分点。依最优特征与最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去。
(3)对两个子结点递归地调用步骤1~2，直至满足停止条件。
(4)生成CART决策树。
算法停止计算的条件是结点中的样本个数小于预定阈值，或样本集的Gini系数小于预定阈值（样本基本属于同一类），或者没有更多特征。

CART是一棵二叉树，每一次分裂会产生两个子节点，对于连续性的数据，直接采用与C4.5相似的处理方法，对于离散型数据，选择最优的两种离散值组合方法。

CART既能是分类树，又能是二叉树。如果是分类树，将选择能够最小化分裂后节点GINI值的分裂属性；如果是回归树，选择能够最小化两个节点样本方差的分裂属性。

CART跟C4.5一样，需要进行剪枝

3.回归树原理

一个回归树对应着输入空间（即特征空间）的一个划分以及在划分单元上的输出值。采用的是启发式的方法选择最优的点来对输入空间进行划分，找到最优的切分变量后，依次将输入空间划分为两个区域，接着对每个区域重复上述划分过程，直到满足停止条件为止，当输入空间的划分确定时，用平方误差来表示回归树对于训练数据的预测误差，用平方误差最小的准则求解每个单元上的最优输出值，这样的回归树通常称为最小二乘法回归树。
最小二乘法回归树生成算法：

4.决策树防止过拟合手段

产生过拟合的原因：

原因1：样本问题

   （1）样本里的噪音数据干扰过大，大到模型过分记住了噪音特征，反而忽略了真实的输入输出间的关系；

   （2）样本抽取错误，包括（但不限于）样本数量太少，抽样方法错误，抽样时没有足够正确考虑业务场景或业务特点，等等导致抽出的样本数据不能有效足够代表业务逻辑或业务场景；

   （3）建模时使用了样本中太多无关的输入变量。

原因2：构建决策树的方法问题

   在决策树模型搭建中，我们使用的算法对于决策树的生长没有合理的限制和修剪的话，决策树的自由生长有可能每片叶子里只包含单纯的事件数据或非事件数据，可以想象，这种决策树当然可以完美匹配（拟合）训练数据，但是一旦应用到新的业务真实数据时，效果是一塌糊涂。

针对原因1的解决方法：

    合理、有效地抽样，用相对能够反映业务逻辑的训练集去产生决策树；

针对原因2的解决方法（主要）：

    剪枝：提前停止树的增长或者对已经生成的树按照一定的规则进行后剪枝。

(1)先剪枝（prepruning）：通过提前停止树的构建而对树“剪枝”，一旦停止，节点就成为树叶。该树叶可以持有子集元组中最频繁的类；

 (2)后剪枝（postpruning）：它首先构造完整的决策树，允许树过度拟合训练数据，然后对那些置信度不够的结点子树用叶子结点来代替，该叶子的类标号用该结点子树中最频繁的类标记。后剪枝的剪枝过程是删除一些子树，然后用其叶子节点代替，这个叶子节点所标识的类别通过大多数原则(majority class criterion)确定。所谓大多数原则，是指剪枝过程中, 将一些子树删除而用叶节点代替,这个叶节点所标识的类别用这棵子树中大多数训练样本所属的类别来标识,所标识的类称为majority class .相比于先剪枝，这种方法更常用，正是因为在先剪枝方法中精确地估计何时停止树增长很困难。