注：前面的习题待完善，稍后补充。
7.3
min w , b , ξ 1 2 ∥ w ∥ 2 + C ∑ i = 1 N ξ i 2 s . t . y i ( w ⋅ x i + b ) ≥ 1 − ξ i , i = 1 , 2 , … , N ξ i ≥ 0 , i = 1 , 2 , … , N \min_{w,b,\xi} \frac{1}{2} {\parallel w \parallel}^2 + C \sum_{i=1}^N {\xi_i}^2 \\s.t. \quad y_i(w \cdot x_i + b) \ge 1 - \xi_i, i =1,2,\ldots,N \\ \xi_i \ge0, i=1,2,\ldots,N w,b,ξmin21∥w∥2+Ci=1∑Nξi2s.t.yi(w⋅xi+b)≥1−ξi,i=1,2,…,Nξi≥0,i=1,2,…,N
对应的拉格朗日函数是 L ( w , b , ξ , α , γ ) = 1 2 ∥ w ∥ 2 + C ∑ i = 1 N ξ i 2 + ∑ i = 1 N α i ( 1 − ξ i − y i ( w ⋅ x i + b ) ) − ∑ i = 1 N γ i ξ i L(w,b,\xi,\alpha,\gamma) = \frac{1}{2} {\parallel w \parallel}^2 + C \sum_{i=1}^N {\xi_i}^2 +\sum_{i=1}^N \alpha_i ( 1 - \xi_i -y_i(w \cdot x_i + b) ) -\sum_{i=1}^N \gamma_i \xi_i L(w,b,ξ,α,γ)=21∥w∥2+C∑i=1Nξi2+∑i=1Nαi(1−ξi−yi(w⋅xi+b))−∑i=1Nγiξi
使用KKT条件得到
∂ L ∂ w = w − ∑ i = 1 N α i y i x i = 0 ∂ L ∂ b = − ∑ i = 1 N α i y i = 0 ∂ L ∂ ξ i = 2 C ξ i − α i − γ i = 0 \frac{\partial L}{\partial w} = w - \sum_{i=1}^N \alpha_i y_i x_i = 0 \\ \frac{\partial L}{\partial b} = -\sum_{i=1}^N \alpha_i y_i = 0 \\ \frac{\partial L}{\partial \xi_i} = 2C \xi_i - \alpha_i - \gamma_i=0 ∂w∂L=w−i=1∑Nαiyixi=0∂b∂L=−i=1∑Nαiyi=0∂ξi∂L=2Cξi−αi−γi=0
因此
w = ∑ i = 1 N α i y i x i ∑ i = 1 N α i y i = 0 2 C ξ i = α i + γ i w = \sum_{i=1}^N \alpha_i y_i x_i \\ \sum_{i=1}^N \alpha_i y_i = 0 \\ 2C \xi_i = \alpha_i + \gamma_i w=i=1∑Nαiyixii=1
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
