本文详细解答了一个统计学习方法中的例题，通过求解最大间隔分离超平面来展示支持向量机（SVM）的工作原理。在给定的训练数据集中，通过拉格朗日乘数法求解最优解，最终得出超平面方程及支持向量。
例7.1：已知一个如图所示的训练数据集，其正例点是 x 1 = ( 3 , 3 ) T , x 2 = ( 4 , 3 ) T x_1=(3,3)^T, x_2=(4,3)^T x1=(3,3)T,x2=(4,3)T,负例点是 x 3 = ( 1 , 1 ) T x_3=(1,1)^T x3=(1,1)T,试求最大间隔分离超平面。
解：按照算法7.1，根据训练数据集构造最优化问题：
min w , b 1 2 ( w 1 2 + w 2 2 ) s . t . 3 w 1 + 3 w 2 + b ≥ 1 4 w 1 + 3 w 2 + b ≥ 1 − w 1 − w 2 − b ≥ 1 \min_{w,b} \frac{1}{2}(w_1^2 + w_2^2) \\ \qquad \qquad s.t. \qquad3w_1+3w_2+b\geq1 \\ \qquad \qquad\qquad \qquad4w_1+3w_2+b\geq1 \\ \qquad \qquad\qquad \qquad-w_1-w_2-b\geq1 w,bmin21(w12+w22)s.t.3w1+3w2+b≥14w1+3w2+b≥1−w1−w2−b≥1
使用拉格朗日乘数法，构造拉格朗日函数为：
L ( w 1 , w 2 , b , α 1 , α 2 , α 3 ) = 1 2 ( w 1 2 + w 2 2 ) + α 1 ( 1 − 3 w 1 − 3 w 2 − b ) + α 2 ( 1 − 4 w 1 − 3 w 2 − b ) + α 3 ( 1 + w 1 + w 2 + b ) L(w_1,w_2,b,\alpha_1,\alpha_2,\alpha_3) = \frac{1}{2}(w_1^2 + w_2^2)+\alpha_1(1-3w_1-3w_2-b)+\alpha_2(1-4w_1-3w_2-b)+\alpha_3(1+w_1+w_2+b) L(w1,w2,b,α1,α2,α3)=21(w12+w22)+α1(1−3w1−3w2−b)+α2(1−4w1−3w2−b)+α3(1+w1+w2+b)
则拉格朗日原始问题为：
min w , b max α 1 , α 2 , α 3 L ( w 1 , w 2 , b , α 1 , α 2 , α 3 ) \min_{w,b}\max_{\alpha_1,\alpha_2,\alpha_3}L(w_1,w_2,b,\alpha_1,\alpha_2,\alpha_3) w,bminα1,α2,α3maxL(w1,w2,b,α1,α2,α3)
转换为对偶问题为：
max α 1 , α 2 , α 3 min w , b L ( w 1 , w 2 , b , α 1 , α 2 , α 3 ) \max_{\alpha_1,\alpha_2,\alpha_3}\min_{w,b}L(w_1,w_2,b,\alpha_1,\alpha_2,\alpha_3) α1,α2,α3maxw,bminL(w1,w2,b,α1,α2,α3)
接下来求解对偶问题：
首先求解 min w , b L ( w 1 , w 2 , b , α 1 , α 2 , α 3 ) \min_{w,b}L(w_1,w_2,b,\alpha_1,\alpha_2,\alpha_3) w,bminL(w1,w2,b,α1,α2,α3)
求极值的方法是求导令其等于0：
∂ L ∂ w 1 = w 1 − 3 α 1 − 4 α 2 + α 3 \frac{\partial L}{\partial w_1} =w_1-3\alpha_1-4\alpha_2+\alpha_3 ∂w1∂L=w1−3α1−4α2+α3
∂ L ∂ w 2 = w 2 − 3 α 1 − 3 α 2 + α 3 \frac{\partial L}{\partial w_2} =w_2-3\alpha_1-3\alpha_2+\alpha_3 ∂w
最低0.47元/天 解锁文章
扫一扫
347
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
