在硬间隔支持向量机中,问题的求解可以转化为凸二次规划问题:
如何得到该式的可参考: 支持向量机
理解一
上式等价于原问题,因为若满足(1)中不等式约束,则(2)式求max时, αi(1−yi(wTxi+b)) α i ( 1 − y i ( w T x i + b ) ) 必须取0,与(1)等价;若不满足(1)中不等式约束,(2)中求max会得到无穷大。
交换min和max获得其对偶问题
交换之后的对偶问题和原问题并不相等,直观地,我们可以这样来理解:胖子中最瘦的那个都比瘦子中最胖的那个要胖。故上式的解小于等于原问题的解。当然这是很不严格的说法,而且扣字眼的话可以纠缠不休,所以我们还是来看其他严格数学意义上的理解。
理解二
现在的问题是如何找到问题(1) 的最优值的一个最好的下界?
若方程组(3)无解, 则v是问题(1)的一个下界。
若(3)有解, 则
由逆否命题得:若
则(3)无解。
那么v是问题(1)的一个下界。
要求得一个好的下界,取最大值即可
理解三
令
p∗
p
∗
为原问题的最小值,对应的
w
w
b分别为
w∗
w
∗
和
b∗
b
∗
,则对于任意的
a>0
a
>
0
:
那么 minw,bL(w,b,a) min w , b L ( w , b , a ) 是问题(1)的一个下界。
要求得一个好的下界,取最大值即可
参考:如何通俗地讲解对偶问题