机器学习技法总结(四)(aggregation,vote,bootstrap...)

原创 2015年07月09日 20:37:26

研究的动机是:我们采用了不同的模型得到T个不同的g,那么我们是不是可以通过这些不同的g的融合得到更加出色的G呢?因此,便有了以上四种不同的方法;1)(select)直接选择最好的一个作为融合的结果;2)(uniform)所有的g公平vote;3)(non-uniform)相当于你比较相信某个结果,就赋予它较高的vote权重,这种类似于二次回归问题,就是说,先对不同模型进行优化得到不同的g,然后再次优化做出回归;4)很简单的predictions conditionally。前面的都可以看作是后面的特例。


上图解释了通过aggregation,通过均匀的弱的hypothesis的mix,我们可以实现比较弯弯曲曲的分界线,这是不是实现了特征转换,使得Ein比较小?另外,这样多次的mix,可能使得PLA取得比较靠中间的那个hypothesis,这样是不是就类似了svm中的large margin的效果,这样aggregation就类似于能够较好的实现特征转换和正则化。

在设计融合的时候,要注意一点,如果我们直接从Ein中选择最小的作为目标的话,这就像是扩大了Hypothesis set的大小,那么VC dimension则变大了,很容易出现overfitting,因此,最好的办法还是通过validation来赛选g-,然后再回传g进行融合。如下图所示:


下面如何得到不同的g呢?主要有以下几种:不同模型,不同的参数,不同的数据等...


借助统计中的一个bootstrap可以实现对data的重新采样,得到了一下的方法:


林老师讲了一个利用PLA作为算法,然后借助bootstrap-aggregation得到了如下的效果:


从图中的效果可以看出,其实效果还不错。

主要关注两个方向:一个是g的diversity,二是democracy。


版权声明:本文为博主原创文章,转载请注明出处http://blog.csdn.net/lg1259156776/。 举报

相关文章推荐

机器学习技法总结(五)Adaptive Boosting, AdaBoost-Stump,决策树

上一讲主要利用不同模型计算出来的g,采用aggregation来实现更好的g。如果还没有做出来g,我们可以采用bootstrap的方法来做出一系列的“diversity”的data出来,然后训练出一系...

机器学习技法 笔记四 Soft-Margin Support Vector Machine

上面一章我们看完了kernel,通过合并转换和内积两个步骤来加速,这样我们可以通过dual SVM来解决很多问题。 但是正如上一章最好说的,我们现在的要求都是基于在Z空间里线性可分的,但是过度强求每个...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

机器学习技法总结(一):支持向量机(linear support vector machine,dual support vector machine)

第一阶段技法:large margin (the relationship between large marin and regularization), hard-SVM,soft-SVM,dua...

机器学习技法作业二题目12-18

说明: 1. 此处是coursera上“机器学习技法”作业二,对应台大林轩田老师主页上的hw6; 2. 本文给出大作业(12-18题)的代码; 3. Matlab代码; 4. 非职业码农,代码质量不高...

机器学习技法第二次作业

趁着deadline的前一天把作业做完了,主要是后面两个编程的题目比较花时间。下面直接进入主题吧。 Question 1 这题直接求导就好了 Question 2 黑塞矩阵...

机器学习技法 笔记三 Kernel Support Vector Machine

//想买mac pro,大陆价格贵得很,在找港台或者美帝的小伙伴代购。囧囧=。=以后不能玩烧显卡的游戏了,谁有mac的待机时间太吸引人了。 上一次我们学习了对偶形式,对偶形式的解决其实也是一个二次规划...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)