集成学习算法

ensemble learning

• 本质：
  • 不是一种新的算法
  • 一种算法调度/管理策略
  • 试图：用三个臭皮匠（弱 estimator），干掉诸葛亮（强 estimator）
  • 以退为进，群狼干掉猛虎的策略
  • 数据 + 模型

• voting:

  • 数据都一样
  • 模型不同
  • 结果可能有不同
  • 再去头脑风暴，集思广益

• bagging：

  • 数据不同
  • 模型相同
  • 结果可能有不同
  • 再去头脑风暴，集思广益

• stacking:

  • 双阶段思想 two-stage 思想
  • 第一阶段：类似voitng
  • 第二个阶段：把voting结果的后处理问题看，交给一个模型来做！！！

• boosting：

  • 提升
  • 错题本思想
  • 数据是一样的，但是样本权重每次是不一样的
  • 模型是一样的（模型基本都是决策树）
  • 串行结构

• 随机森林：

  • random forest
    • random？
      • 行随机
      • 列随机
    • forest：很多棵树
      • 树：决策树
  • 串串儿思想
  • 行列都抽取的bagging
  • estimator：决策树