机器学习：线性SVM损失函数转换拉格朗日乘数

最新推荐文章于 2022-05-30 21:09:40 发布

Zen of Data Analysis

最新推荐文章于 2022-05-30 21:09:40 发布

阅读量731

点赞数

分类专栏：机器学习算法文章标签：机器学习算法拉格朗日函数

本文链接：https://blog.csdn.net/gracejpw/article/details/102650353

版权

本文探讨了线性SVM中将损失函数转化为拉格朗日乘数形式的必要性和可能性。通过引入拉格朗日乘数，损失函数变为L(ω,b,α)，最大化L(ω,b,α)使得约束条件yi(ω⋅xi+b)⩾1得以考虑。最终目标是通过先最大化再最小化L(ω,b,α)，求得满足约束的最优ω和b。" 129805785,15063297,分形三维：云端CAD可视化图形引擎,"['3d', 'CAD', '云计算', '软件开发', '机器人']

摘要由CSDN通过智能技术生成

线性SVM的拉格朗日对偶函数和决策函数

有了损失函数，就需要对损失函数进行求解。这个求解过程异常复杂，涉及到的数学的难度不是推导损失函数的部分可比。并且，在sklearn当中，我们作为使用者完全无法干涉这个求解的过程。因此作为使用sklearn的人，这部分属于进阶内容。
之前得到了线性SVM损失函数的最初形态：
$min_{ω,b}\frac { {||ω||}^2}2$
服从
$y_i(ω\cdot x_i+b)\geqslant 1, \quad i=1,2,...N$
这个损失函数分为两部分：需要最小化的函数，以及参数求解后必须满足的约束条件。这是一个最优化问题。

将损失函数从最初形态转换为拉格朗日乘数形态

Why need

我们的目标是求解让损失函数最小化的ω，但其实很容易看得出来，如果||ω||为0，f(ω)必然最小。但是，||ω||=0其实是一个无效值，因为：首先，决策边界是 $\boldsymbol{ω\cdot x}+b=0$ ，如果ω为0，则这个向量里包含的所有元素都为0，那就有b = 0这个唯一值。然而，如果b和ω都为0，决策边界就不再是一条直线了，函数间隔 $y_i(\boldsymbol{ω\cdot x_i}+b)$ 就会为0，条件中的 $y_i(\boldsymbol{ω\cdot x_i}+b)\geqslant1$