本篇博文介绍svm算法,从优化目标出发,分析svm的产生,以及产生svm解的原因。
在逻辑回归中,我们发现,对于一个样本(x,y),对代价函数造成的影响是带来如下一项:
y=1时,实际是上式的第一项,产生的影响如下图所示:
y= 0时,实际是上式的第二项,产生的影响如下图所示:
现在,我们从这两个代价函数开始,构建svm.
针对y=1和y=0,我们分别将代价函数修改为下图的红线部分:
下面,我们根据逻辑回归的代价函数,得到svm的代价函数:
逻辑回归中,代价函数为:
【A+λB的形式】
svm中,我们将上式修改为:
【cA+B的形式,c=1/λ</