【机器学习基础】自适应提升

Weighted Base Algorithm

(1)基本算法引入权重

加权这类算法给每个数据一个权重，这个权重可以看做是该数据点有几份。

在之前介绍的SVM算法中，对于一个错误扣除C的分数，而对错误加权之后，每个数据点将扣除C·un这个多的分数，这个参数经过二次规划的计算之后，就会到α的上限中去。
对于逻辑回归来说，un可以作为样本(xn,yn)的抽样比例。
这两个例子说明将权重系数放入具体的算法中是可行的。

(2)让假设差别更大
上一节介绍Aggregation时我们知道，各种假设的区别越不一样，通过组合的机制可以得到更好的结果。那么，我们该如何改变u让假设g差别越大越好？
我们知道g(t)是由un(t)加权得到的，g(t+1)是由un(t+1)加权得到的。

那么，如果g(t)使用un(t+1)进行加权的结果效果非常不好，那么使用un(t+1)得到的g就会和g(t)非常不一样&#x