这篇文章发表于ICML06,很有意思的点在于,它抓住了随着样本规模的大幅度提升,SVs的数量也随之而提升的问题,这样,由于稀疏性的不好导致计算的耗时也很多。作者以Hinge Loss作例举,当
y⋅f(x)<1
时,约束得到的点则均被认为support vectors,作者认为,这里面的很多outliner不应该被认为sv,所以,作者构造一个新的损失函数,
Rs(z)=H1(z)−Hs(z)
,这样问题就变成了一个非凸问题,接着,作者用cccp来解决。
在文章第四部分,作者又将自己提出的方法应用到了semi-supervised learning的问题上,同样,也构造了一个非凸问题,然后用cccp去解。
personal:
这篇文章是在查cccp应用的paper时找到的,对于大规模样本问题,作者从SVs的数量切入,很巧妙的构造了一个新的loss function,并得到了很不错的结果,只是文章比较短,没有给出过多的推导证明,上面这种新的损失函数的合理性就不太明白了,回头找找看看作者是不是在其他问题中有提到吧。