机器学习技法总结(四)(aggregation,vote,bootstrap...)

原创 2015年07月09日 20:37:26

研究的动机是:我们采用了不同的模型得到T个不同的g,那么我们是不是可以通过这些不同的g的融合得到更加出色的G呢?因此,便有了以上四种不同的方法;1)(select)直接选择最好的一个作为融合的结果;2)(uniform)所有的g公平vote;3)(non-uniform)相当于你比较相信某个结果,就赋予它较高的vote权重,这种类似于二次回归问题,就是说,先对不同模型进行优化得到不同的g,然后再次优化做出回归;4)很简单的predictions conditionally。前面的都可以看作是后面的特例。


上图解释了通过aggregation,通过均匀的弱的hypothesis的mix,我们可以实现比较弯弯曲曲的分界线,这是不是实现了特征转换,使得Ein比较小?另外,这样多次的mix,可能使得PLA取得比较靠中间的那个hypothesis,这样是不是就类似了svm中的large margin的效果,这样aggregation就类似于能够较好的实现特征转换和正则化。

在设计融合的时候,要注意一点,如果我们直接从Ein中选择最小的作为目标的话,这就像是扩大了Hypothesis set的大小,那么VC dimension则变大了,很容易出现overfitting,因此,最好的办法还是通过validation来赛选g-,然后再回传g进行融合。如下图所示:


下面如何得到不同的g呢?主要有以下几种:不同模型,不同的参数,不同的数据等...


借助统计中的一个bootstrap可以实现对data的重新采样,得到了一下的方法:


林老师讲了一个利用PLA作为算法,然后借助bootstrap-aggregation得到了如下的效果:


从图中的效果可以看出,其实效果还不错。

主要关注两个方向:一个是g的diversity,二是democracy。


版权声明:本文为博主原创文章,转载请注明出处http://blog.csdn.net/lg1259156776/。

机器学习:Bootstrap

Bootstrap 最近在看一篇论文 Training Deep Nets with Imbalanced and Unlabeled Data,主要是讲通过一种欠采样的方法解决DBN网络中...
  • oMengLiShuiXiang1234
  • oMengLiShuiXiang1234
  • 2015年12月13日 10:38
  • 3095

台湾国立大学机器学习技法.听课笔记(第七讲):Blending(混合) and Bagging(自举)

台湾国立大学机器学习技法.听课笔记(第七讲) :Blending(混合) and Bagging(自举) 一,Motivation of Aggregation(融合模型的动机) 1,提出Aggr...
  • huang1024rui
  • huang1024rui
  • 2015年09月22日 23:31
  • 1302

机器学习技法课之Aggregation模型

  • 2016年11月27日 10:16
  • 2.18MB
  • 下载

机器学习技法总结(一):支持向量机(linear support vector machine,dual support vector machine)

第一阶段技法:large margin (the relationship between large marin and regularization), hard-SVM,soft-SVM,dua...
  • LG1259156776
  • LG1259156776
  • 2015年07月08日 20:38
  • 1325

机器学习技法总结(五)Adaptive Boosting, AdaBoost-Stump,决策树

上一讲主要利用不同模型计算出来的g,采用aggregation来实现更好的g。如果还没有做出来g,我们可以采用bootstrap的方法来做出一系列的“diversity”的data出来,然后训练出一系...
  • LG1259156776
  • LG1259156776
  • 2015年07月10日 15:16
  • 4054

机器学习技法 笔记四 Soft-Margin Support Vector Machine

上面一章我们看完了kernel,通过合并转换和内积两个步骤来加速,这样我们可以通过dual SVM来解决很多问题。 但是正如上一章最好说的,我们现在的要求都是基于在Z空间里线性可分的,但是过度强求每个...
  • u011954647
  • u011954647
  • 2016年02月24日 12:02
  • 742

机器学习技法(台大-林轩田 课件

  • 2017年12月21日 00:13
  • 24.09MB
  • 下载

机器学习技法原始讲义和课程笔记

  • 2015年08月19日 10:19
  • 31.92MB
  • 下载

机器学习技法实现(一):AdaBoost- Decision Stump (AdaBoost - 决策树的基于Matlab的实现)

经过前面对AdaBoost的总结,下面要基于Matlab实现AdaBoost-Stump进行二维平面数据点的分类的实验。 一. 实验原理 参看 http://blog.csdn.net/lg12591...
  • LG1259156776
  • LG1259156776
  • 2015年07月10日 22:08
  • 7160

台大林轩田·机器学习技法记要

台大林轩田·机器学习技法 记要6/1/2016 7:42:34 PM 第一讲 线性SVM 广义的SVM,其实就是二次规划问题把SVM问题对应到二次规划...
  • qiusuoxiaozi
  • qiusuoxiaozi
  • 2016年06月25日 18:42
  • 7016
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习技法总结(四)(aggregation,vote,bootstrap...)
举报原因:
原因补充:

(最多只允许输入30个字)