集成学习

原创 2016年06月02日 11:35:23

集成学习:

有效的前提:
1. 每个弱分类器的错误率不能高于0.5。
2.弱分类器之间的性能要有较大的差别,否则集成效果不是很好。
集成学习的实验性结论:
Boosting方法的集成分类器效果明显优于bagging,但是在某些数据集boosting算法的效果还不如单个分类器的。
使用随机化的人工神经网络初始权值来进行集成的方法往往能够取得和bagging同样好的效果。
Boosting算法一定程度上依赖而数据集,而bagging对数据集的依赖没有那么明显。
Boosting算法不仅能够减少偏差还能减少方差,但bagging算法智能减少方差,对偏差的减少作用不大。
Boost也许在噪声数据上有坏的表现,Bagging没有这个问题。
AdaBoots可能会失败:

1.假设太复杂(过拟合)

2.假设太弱 (at->0很快)

没有拟合完全
边界条件太低->过拟合

AdaBoots对噪声的处理很好

AdaBoost

alpha则是一个可正可负的数,和错误率的变化是相反的,错误率越小,alpha越大。若错误率小于1/2,则alpha>0,此刻,对于正确分类的样本,样本权值减小,对于误分类的样本,权值加大。如果错误率大于1/2,则alpha<0,此刻,对于正确分类的样本,权值加大,对于误分类的样本,权值减小。

D_tree 、SVM、贝叶斯的集成学习:

集成学习通常适用于不稳定的学习算法,例如决策树,人工神经网络等。朴素贝叶斯是一种稳定的学习方法。学习算法的稳定性对于最后的结果有很大的影响。对于不稳定的学习算法,如神经网络、决策树,集成学习能够提高预测的准确度,但对于稳定的学习算法,集成学习的效果并不明显,有事甚至会降低预测的准确度。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

简单易学的机器学习算法——协同过滤推荐算法(2)

一、基于协同过滤的推荐系统

Python3《机器学习实战》学习笔记(二):决策树基础篇之让我们从相亲说起

有读者反映,说我上篇文章Python3《机器学习实战》学习笔记(一):k-近邻算法(史诗级干货长文),太长了。一看那么长,读的欲望都降低了。既然如此,决策树的内容,我就分开讲好了。本篇讨论决策树的原理...

机器学习之非监督学习

机器学习之非监督学习一、非监督学习介绍 利用无标签的数据学习数据的分布或数据与数据之间的关系被称作无监督学习。 有监督学习和无监督学习的最大区别在于数据是否有标签。 无监督学习...

决策树之CART算法

在之前介绍过决策树的ID3算法实现,今天主要来介绍决策树的另一种实现,即CART算法。   Contents      1. CART算法的认识    2. CART算法的原理    3. CART算...

SQL Server补丁版本查看

1、用Isql或者SQL查询分析器登录到SQL Server,如果是用Isql,请在cmd窗口输入isql -U sa,然后输入密码,进入;如果是用SQL查询分析器,请从程序中启动,输入sa和密码(也...

在R中使用支持向量机(SVM)进行数据挖掘(上)

在R中,可以使用e1071软件包所提供的各种函数来完成基于支持向量机的数据分析与挖掘任务。该包中最重要的一个函数就是用来建立支持向量机模型的svm()函数。我们将结合后面的例子来演示它的用法。

机器学习中的隐马尔科夫模型(HMM)详解

本文介绍机器学习中非常重要的隐马尔可夫模型(HMM,Hidden Markov Model),它也是一种PGM。更准确地说,HMM是一种特殊的贝叶斯网络。HMM在自然语言处理、计算机视觉,以及语言识别...

GDB调试精粹

该命令将会删除编号为1的断点,如果不带编号参数,将删除所有的断点 (gdb) delete breakpoint 3.禁止使用某个断点 (gdb) disable breakpoint 1 该命令将禁...

C4.5算法详解(非常仔细)

首先,我们用一个例子来计算一下。                            ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)