机器学习分类算法——集成学习

        对于分类中集成学习算法,在不同的算法书中,叫法比较丰富。比如在周志华的西瓜书中,称为集成学习/多分类器系统/基于委员会的学习;在李航的《统计学习方法》中,称提升方法;在《数据挖掘导论》中,又称为组合方法/分类器组合。

        无论怎么称呼,根据定义,这些名称表达的意思都是一样的,即:

  • 通过聚集多个分类器的预测来提高分类准确率。

        说明:这里的“分类器”如果由一个现有的学习算法(比如C4.5决策树算法)从训练数据中产生,那么所有的分类器类型相同,可统一称为“基学习器”;如果分类器由多种学习算法生成,则把这些学习其称为“组件学习器”或“个体学习器”

        这篇学习笔记,主要是从下面几个问题入手,去理解一些常用的集成学习方法:

  • 一、为什么组合方法比任意单分类器的效果好?【理论】
  • 二、如何构建组合分类器技术?

        针对第一个问题,借用《数据挖掘导论》例题5.7:

Consider an ensemble of twenty-five binary classifiers,each of which has an error rate of

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页