机器学习技法总结(四)(aggregation,vote,bootstrap...)

原创 2015年07月09日 20:37:26

研究的动机是:我们采用了不同的模型得到T个不同的g,那么我们是不是可以通过这些不同的g的融合得到更加出色的G呢?因此,便有了以上四种不同的方法;1)(select)直接选择最好的一个作为融合的结果;2)(uniform)所有的g公平vote;3)(non-uniform)相当于你比较相信某个结果,就赋予它较高的vote权重,这种类似于二次回归问题,就是说,先对不同模型进行优化得到不同的g,然后再次优化做出回归;4)很简单的predictions conditionally。前面的都可以看作是后面的特例。


上图解释了通过aggregation,通过均匀的弱的hypothesis的mix,我们可以实现比较弯弯曲曲的分界线,这是不是实现了特征转换,使得Ein比较小?另外,这样多次的mix,可能使得PLA取得比较靠中间的那个hypothesis,这样是不是就类似了svm中的large margin的效果,这样aggregation就类似于能够较好的实现特征转换和正则化。

在设计融合的时候,要注意一点,如果我们直接从Ein中选择最小的作为目标的话,这就像是扩大了Hypothesis set的大小,那么VC dimension则变大了,很容易出现overfitting,因此,最好的办法还是通过validation来赛选g-,然后再回传g进行融合。如下图所示:


下面如何得到不同的g呢?主要有以下几种:不同模型,不同的参数,不同的数据等...


借助统计中的一个bootstrap可以实现对data的重新采样,得到了一下的方法:


林老师讲了一个利用PLA作为算法,然后借助bootstrap-aggregation得到了如下的效果:


从图中的效果可以看出,其实效果还不错。

主要关注两个方向:一个是g的diversity,二是democracy。


版权声明:本文为博主原创文章,转载请注明出处http://blog.csdn.net/lg1259156776/。

相关文章推荐

机器学习:Bootstrap

Bootstrap 最近在看一篇论文 Training Deep Nets with Imbalanced and Unlabeled Data,主要是讲通过一种欠采样的方法解决DBN网络中...

区分bootstrap、bagging、boosting和adaboost

前言: bootstrap、bagging、boosting和adaboost是机器学习中几种常用的重采样方法。其中bootstrap重采样方法主要用于统计量的估计,bagging、boostin...

机器学习基础(十六)—— bootstrap

bootstrap:抽出来、记录下来、放回去 bootstrapping:一个统计工具,对同一份数据集,进行不同的重采样(re-sample)以模拟不同的数据集出来,避免了 cross-validat...

什么是Bootstrap Aggregating

Bootstrap Aggregating也叫作bagging,是一种机器学习领域用来做模型合并的一种算法。这种算法可以提高统计分类器和回归器的稳定性和准确度。同时也可以帮助模型避免过拟合。...

Aggregation总结:Blending和Bootstrap

1. Aggregation 首先举一个买房的例子,假如你有10个朋友给出了买房的意见,你如何参考这10个人的意见做出决定呢? 第一种办法是让大家投票,每人一票,最后选择得票数最多的那个选项 第二种办...

bootstrap, boosting, bagging 几种方法的联系

这两天在看关于boosting算法时,看到一篇不错的文章讲bootstrap, jackknife, bagging, boosting, random forest 都有介绍,以下是搜索得到的原文,...

机器学习技法之Aggregation方法总结:Blending、Learning(Bagging、AdaBoost、Decision Tree)及其aggregation of aggregation

本文主要基于台大林轩田老师的机器学习技法课程中关于使用融合(aggregation)方法获得更好性能的g的一个总结。包括从静态的融合方法blending(已经有了一堆的g,通过uniform:voti...

bootstrap, boosting, bagging 几种方法的联系

转:http://blog.csdn.net/jlei_apple/article/details/8168856 这两天在看关于boosting算法时,看到一篇不错的文章讲bootstrap, j...

实时竞价(RTB) 介绍(基础篇)

前言: 说到“实时竞价”大家一定都不陌生,那么为何现在实时竞价发展这么迅猛,当然这个主要得益于整体移动互联网环境的成熟,以及中国本地移动广告市场出现爆发式增长。那么究竟什么是实时竞价?这个流程是怎样的...
  • chndata
  • chndata
  • 2015年07月08日 09:56
  • 2883

马尔可夫过程(Markov Process)

马尔可夫过程出自 MBA智库百科(http://wiki.mbalib.com/)马尔可夫过程(Markov Process)[编辑]什么是马尔可夫过程 1、马尔可夫性(无后效性)  过程或(系统)在...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习技法总结(四)(aggregation,vote,bootstrap...)
举报原因:
原因补充:

(最多只允许输入30个字)