Regularized Boost

Regularized Boost for Semi-Supervised Learning, study/ML/NIPS目录下: 这篇文章沿用了Functional Gradient technique的框架. 在原框架中, 每轮得到的base learner需要使得<-\delta C(F),f> 最大化,这样保证每一轮得到的f都能使C(F)尽可能减小. 文章中找base learner时, 最大化<-\delta C(F),f>+\sum_i \beta_i R_i, 后一项是不同的地方,是regularizer.

 

文章discussion部分说它与graph-based算法不同的点是后者每轮中regularizer 都直接影响标记的改变(应该是指为标记样例),而RegularizedBoost中的regularizer在每轮仅仅影响distribution.这个说法我是不同意的, 因为在当前轮找最合适的base learner时,已经用到了regularizer的信息,在接下来给unlabeled data的psudo label就受到regularizer的影响,本质和graph-based算法中的regularizer没啥区别.

 

 

引申出对要投的文章修改的想法:GRSM不同于Regularized document score,前者将global consistency应用到了训练过程,而后者仅仅在ranking model后的score上做了一次转换.