在<计算机技巧>课程中,考虑到w,b同时放大或者缩小对原来的优化问题没有任何影响,为了化简这个问题,作者引入
min1...nyn(wxn+b)=1
,这里证明在这个约束下问题其实对原始的优化问题没有影响,即:
加上上面约束后没有影响。
假设
wop,bop
是原始问题的最优解,那么转换的优化问题求出的解一定是
wop/A,bop/A
这种形式的。
假设两个点:
y1(wx1+b)=2,y2(wx2+b)=3
因此:
y1(w2x1+b2)=1,y2(w2x2+b2)=1.5
显然
wop/2,bop/2
首先是新问题的最优解,同时也满足约束条件。
原始问题变成新问题必然严格了很多,但是原始问题最优解为
2/||wop||
,新问题最优解也为
2/||wop||
,因此约束的严格并没有带来优化最值的下降,故而两种优化问题是等价的。
(优化问题的等价性:优化目标最值没有变化)
SVM解释为什么可以约束min y(wx+b)=1的问题
最新推荐文章于 2020-05-05 20:39:35 发布