温故而知新-3.svm

最大化1/||w2||，s.t.y(wx+b)>=1,i=0...n

最小化||w2||

1.拉格朗日乘子

l(w,b,a)=1/2*||w2||-sum(ai*(yi*(wx+b)-1))

2.kkt

对各个变量求导，偏导为0的点

w=sum(aiyixi)

sum(aiyi)=0

约束

ai>=0

1-y(wx+b)<=0

对偶问题max w(a)=sum(ai)-1/2*sum(aiajyiyjxixj) st.ai>=0,sum(aiyi)=0

求出w*b*

w*=sum(aixiyi)

b*=yi-sum(aiyixixj)

3.smo求出a* 加入松弛向量