9.1民主协商：Ensemble

• Ensemble Learning

  

  • 集成学习：不是一个特定的算法，而是一个大的算法框架门类

    

    

    • 例如集体决策
• What is ensemble learning?

  

  • 思路：先要有策略得生成N个分类器，再把它们结合到一起，即经过精心挑选的“人”，让他们回答特定的问题，根据大家共同的答案做出最后的判断
  • 使用继承学习的原因
    • 模型不够强大，需要提高它的performance（例如，准确率89%-95%），可以多找几个“人”做这件事
    • model selection问题（例如不同的初始值训练出的神经网络不同，到底用哪个？）
  • 集成学习因为有很多分类器又被叫做多分类器系统，集成学习的类型笼统的讲可分为以下两大算法门类（它们里面还有很多很多的算法）：
    • Bagging
    • Boosting
• Algorithm Hierarchy（算法层次结构）

  

  • 机器学习
    • 监督的
      • 分类问题
        • 单分类器
          • SVM支持向量机、DT决策树、NN最近邻
        • 多分类器（集成学习）
        • Bagging
        • Boosting
    • 半监督的
    • 无监督的
      • 聚类
• Combination of Classifiers

  

  • 需要解决的问题：
    • 怎么找到这些分类器
    • 如何Combine每个分类器的结果
• Model Selection

  

  • 例如每次随机抽取70%训练，每次不同的训练数据集会导致分类器的分界面不同，每个分类器都有一些误判，如何选择分类器？
  • 取平均后的分类器比原来每一个分类器都要好，因为它完美分开了三类样本，且是平滑曲线
• Divide and Conquer（分而治之）

  

  

  • 将一个大问题切成小问题，更容易解决，例如图中思路为：复杂的分界面可以由多个简单的分界面拟合