机器学习（5）-决策树与集成算法

1.什么是决策树

• 从树的根节点开始一步步（决策）走到子节点的树型结构
• 假如我门需要解决谁愿意和我们一起玩游戏的问题，并且有如下的数据
  
  那么我们可以构造一个如下的决策树来预测结果
  

2.决策树的构建

• 决策树定义很简单，关键是我们如何构建一棵决策树，为什么要把年龄当成树节点，把性别当成子节点？我们分配的标准就是，使用这个分类器后，使得数据的混乱度最大的降低。我们用熵来表示混乱程度度，
• 熵
  
  • 表示物体的混乱程度
  • 表示函数：$Info(D) = -\sum_{i=1}^np_i*log_2p_i$（小概率事件越多，熵越大）
• 信息增益
  
  • 表示函数 $Info_A(D)=\sum_{j=1}^v\frac{|D_j|}{|D|}*Info(D_j)$
  • $Gain=Info(D)-Info_A(D)$
  • 表示每次分类后数据混乱度下降的程度
  • 遍历每种分类的信息增益率，把最大的当初当次分类的分类器
  • 连续值离散化：如果是连续值，可以把数据进行切分，进行离散化，比如年龄，我们可以在15岁分割，也可以在38 岁进行分割，计算所有可能性，取结果最好的（在实际中，更多的是使用随机切分，遍历所有可能回导致巨大的计算量）
• C4.5算法对ID3算法的优化：
  
  • ID3算法中，如果是ID列，数值从1~n，那么分成n类后，它的信息增益是最高的，然而对于实际情况，这种分类是没有任何意义的，所以在C4.5算法中，提出了信息增益率的概念来解决这个问题
  • 信息增益率
    
    • 分裂信息：$SplitInfo_a(D)=-\sum_{j=1}^v\frac{|D_j|}{|D|}*log_2(\frac{|D_j|}{|D|})$
    • $GainRatio(A)=\frac{Gain(A)}{SplitInfo(A)}$
• CART：GINI系数
  
  • $Gini(D)=1-\sum_{i=1}^mp_i^2$

决策树剪枝

• 剪枝原因：过拟合风险大
• 预剪枝
  
  • 限制深度，页子节点个数，页子节点样本数，信息增益量
  • 可以选择特征？？
• 后剪枝
  
  • 在决策树构建完成之后，通过一定的标准决定剪掉哪些枝叶

集成算法（Ensemble Learning）

• Bagging：选了多个分类器取平均值（典型例子：随机森林）
  
  • 数据随机，特征随机
  • 优点：
    
    • 处理高纬度，不用特征选择
    • 可以计算出特征的重要程度，通过破坏特征，比较之间的差值
    • 并行运算，速度快
    • 可视化展示
  • 一般生成100-200棵树，就好，因为树多了效果不一定好
• Boosting（提升模型）：从弱学习开始（AdBoost，xgBoost），串行计算
• Stacking（堆叠模型）：聚合多个分类
  
  • 通常套路：使用多个算法计算出结果，把结果作为作为输入再次使用一个算法计算结果