Weighted Base Algorithm
(1)基本算法引入权重
加权这类算法给每个数据一个权重,这个权重可以看做是该数据点有几份。
在之前介绍的SVM算法中,对于一个错误扣除C的分数,而对错误加权之后,每个数据点将扣除C·un这个多的分数,这个参数经过二次规划的计算之后,就会到α的上限中去。
对于逻辑回归来说,un可以作为样本(xn,yn)的抽样比例。
这两个例子说明将权重系数放入具体的算法中是可行的。
(2)让假设差别更大
上一节介绍Aggregation时我们知道,各种假设的区别越不一样,通过组合的机制可以得到更好的结果。那么,我们该如何改变u让假设g差别越大越好?
我们知道g(t)是由un(t)加权得到的,g(t+1)是由un(t+1)加权得到的。
那么,如果g(t)使用un(t+1)进行加权的结果效果非常不好,那么使用un(t+1)得到的g就会和g(t)非常不一样&#x