集成学习

原创 2016年06月02日 11:35:23

集成学习:

有效的前提:
1. 每个弱分类器的错误率不能高于0.5。
2.弱分类器之间的性能要有较大的差别,否则集成效果不是很好。
集成学习的实验性结论:
Boosting方法的集成分类器效果明显优于bagging,但是在某些数据集boosting算法的效果还不如单个分类器的。
使用随机化的人工神经网络初始权值来进行集成的方法往往能够取得和bagging同样好的效果。
Boosting算法一定程度上依赖而数据集,而bagging对数据集的依赖没有那么明显。
Boosting算法不仅能够减少偏差还能减少方差,但bagging算法智能减少方差,对偏差的减少作用不大。
Boost也许在噪声数据上有坏的表现,Bagging没有这个问题。
AdaBoots可能会失败:

1.假设太复杂(过拟合)

2.假设太弱 (at->0很快)

没有拟合完全
边界条件太低->过拟合

AdaBoots对噪声的处理很好

AdaBoost

alpha则是一个可正可负的数,和错误率的变化是相反的,错误率越小,alpha越大。若错误率小于1/2,则alpha>0,此刻,对于正确分类的样本,样本权值减小,对于误分类的样本,权值加大。如果错误率大于1/2,则alpha<0,此刻,对于正确分类的样本,权值加大,对于误分类的样本,权值减小。

D_tree 、SVM、贝叶斯的集成学习:

集成学习通常适用于不稳定的学习算法,例如决策树,人工神经网络等。朴素贝叶斯是一种稳定的学习方法。学习算法的稳定性对于最后的结果有很大的影响。对于不稳定的学习算法,如神经网络、决策树,集成学习能够提高预测的准确度,但对于稳定的学习算法,集成学习的效果并不明显,有事甚至会降低预测的准确度。

版权声明:本文为博主原创文章,未经博主允许不得转载。

ML实验:集成学习

一.实验题目 1.利用集成学习方法对所给数据进行分类判定,比对准确率。 二.算法分析 1.集成学习主要分两种方法,Bagging,Adaboost,本次实验,我采用Bagging算法,算法思想即...

机器学习笔记(八)集成学习

8.集成学习 8.1个体与集成 集成学习(ansemblelearning)通过构建并结合多个学习器来完成学习任务,也称为多分类器系统(multi-classifiersystem)、基于委员会的...

集成学习总结 & Stacking方法详解

Stacking方法准备在接下来要写一下。

Quartz学习——Spring和Quartz集成详解(三)

Spring是一个很优秀的框架,它无缝的集成了Quartz,简单方便的让企业级应用更好的使用Quartz进行任务的调度。下面就对Spring集成Quartz进行简单的介绍和示例讲解!和上一节 Quar...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:集成学习
举报原因:
原因补充:

(最多只允许输入30个字)