本文介绍了支持向量机中，如何通过引入拉格朗日乘子来处理约束优化问题，并证明了弱对偶性的概念。通过对约束条件的分析，展示了在满足约束条件下拉格朗日函数的行为，以及弱对偶性如何表示为原问题与对偶问题之间的关系。文章还提及后续将探讨的几何解释、Slater条件和KKT条件。
简单来说，引入拉格朗日乘子是为了强制要求所有的约束条件必须被满足，当 x x x违反约束条件时， L ( x , α , β ) → + ∞ L(x,\alpha,\beta) \rightarrow +\infty L(x,α,β)→+∞， 当 x x x满足约束条件时， L ( x , α , β ) = f ( x ) L(x,\alpha,\beta) = f(x) L(x,α,β)=f(x)。
假设 f ( x ) ， c i ( x ) ， h j ( x ) f(x)，c_i(x)，h_j(x) f(x)，ci(x)，hj(x)是定义在 R n R^n Rn上的连续可微函数。考虑约束最优化问题（极大化问题可以简单地转换为极小化问题，这里仅讨论极小化问题）：
min x ∈ R n f ( x ) s . t . m i ( x ) ≤ 0 , i = 1 , 2 , ⋯ , k n j ( x ) = 0 , j = 1 , 2 , ⋯ , l \begin{aligned} \min_{x \in R^n} \hspace{1em} & f(x)\\ s.t. \hspace{1em} & m_i(x) \le 0, \hspace{1em} i=1,2,\cdots,k\\ & n_j(x) = 0, \hspace{1em} j=1,2,\cdots,l \end{aligned} x∈Rnmins.t.f(x)mi(x)≤0,i=1,2,⋯,knj(x)=0,j=1,2,⋯,l
引入拉格朗日乘子后，得到拉格朗日函数
最低0.47元/天 解锁文章
434
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
