集成学习

原创 2016年06月02日 11:35:23

集成学习:

有效的前提:
1. 每个弱分类器的错误率不能高于0.5。
2.弱分类器之间的性能要有较大的差别,否则集成效果不是很好。
集成学习的实验性结论:
Boosting方法的集成分类器效果明显优于bagging,但是在某些数据集boosting算法的效果还不如单个分类器的。
使用随机化的人工神经网络初始权值来进行集成的方法往往能够取得和bagging同样好的效果。
Boosting算法一定程度上依赖而数据集,而bagging对数据集的依赖没有那么明显。
Boosting算法不仅能够减少偏差还能减少方差,但bagging算法智能减少方差,对偏差的减少作用不大。
Boost也许在噪声数据上有坏的表现,Bagging没有这个问题。
AdaBoots可能会失败:

1.假设太复杂(过拟合)

2.假设太弱 (at->0很快)

没有拟合完全
边界条件太低->过拟合

AdaBoots对噪声的处理很好

AdaBoost

alpha则是一个可正可负的数,和错误率的变化是相反的,错误率越小,alpha越大。若错误率小于1/2,则alpha>0,此刻,对于正确分类的样本,样本权值减小,对于误分类的样本,权值加大。如果错误率大于1/2,则alpha<0,此刻,对于正确分类的样本,权值加大,对于误分类的样本,权值减小。

D_tree 、SVM、贝叶斯的集成学习:

集成学习通常适用于不稳定的学习算法,例如决策树,人工神经网络等。朴素贝叶斯是一种稳定的学习方法。学习算法的稳定性对于最后的结果有很大的影响。对于不稳定的学习算法,如神经网络、决策树,集成学习能够提高预测的准确度,但对于稳定的学习算法,集成学习的效果并不明显,有事甚至会降低预测的准确度。

版权声明:本文为博主原创文章,未经博主允许不得转载。

集成学习概述

一、集成学习(Ensemble Learning)集成学习是指通过训练多个分类器,然后将这些分类器组合起来,来获得比单个分类器更优的性能(比最好的那个分类器还要好)。如果每个分类器都是同种类型的(比如...
  • u014230646
  • u014230646
  • 2016年05月31日 14:07
  • 1024

集成学习(二)

引言上篇博文介绍了串行集成学习boosting,本篇博文继续介绍并行集成学习:Bagging和随机森林。...
  • u011345885
  • u011345885
  • 2016年10月13日 11:20
  • 377

关于集成学习基础的简单描述

转载自数据工匠:http://datartisan.com/article/detail/32.html 什么是集成学习? 集成建模是优化模型表现的一条重要途径。通常来说,将集成学习方法运...
  • memray
  • memray
  • 2015年09月07日 02:49
  • 2360

集成学习(ensemble Learning)

集成学习(ensemble Learning)通过构建并结合多个学习器来完成学习任务,有时也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committee-...
  • qq_28618765
  • qq_28618765
  • 2017年10月12日 08:54
  • 92

Ensemble learning 集成学习(二)

No4.Grandient Boosting gradient boosting(又叫Mart, Treenet):Boosting是一种思想,Gradient Boosting是一种实现Boost...
  • Savinger
  • Savinger
  • 2016年10月19日 18:19
  • 1352

一文读懂集成学习

一文读懂集成学习(附学习资源) 投稿 丨 前沿热点  9134 1320 2017-08-07  THU数据派 Xtecher特稿作者 关注 ...
  • ruiyiin
  • ruiyiin
  • 2017年08月12日 13:39
  • 984

集成学习(1)--Matlab/Python

集成学习理论 Matlab代码分析 Python代码分析 ================================================= 集成学习(ensemble lear...
  • ifruoxi
  • ifruoxi
  • 2016年12月09日 11:06
  • 1440

使用集成学习提升机器学习算法性能

使用集成学习提升机器学习算法性能 这篇文章是对 PythonWeekly 推荐的一篇讲集成模型的文章的翻译,原文为 Ensemble Learning to Improve Machine Lea...
  • u010099080
  • u010099080
  • 2017年08月30日 18:47
  • 650

机器学习知识点(十六)集成学习AdaBoost算法Java实现

理解http://blog.csdn.net/fjssharpsword/article/details/61913092中AdaBoost算法,从网上找了一套简单的代码加以理解。 1、基分类器,实...
  • fjssharpsword
  • fjssharpsword
  • 2017年03月13日 16:59
  • 2008

集成学习综述

机器学习方法在生产、科研和生活中有着广泛应用,而集成学习则是机器学习的首要热门方向。集成学习是使用一系列学习器进行学习,并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器...
  • qq_28168421
  • qq_28168421
  • 2016年11月27日 15:25
  • 688
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:集成学习
举报原因:
原因补充:

(最多只允许输入30个字)