本文简要介绍了支持向量机（SVM）中的拉格朗日乘子法，探讨了无约束、等式约束优化问题及其与KKT条件的关系。通过SVM的背景知识，阐述了如何利用拉格朗日乘子法解决有约束的最优化问题，特别是最大化间隔以找到最佳分类超平面。最后，概述了SVM的训练过程和决策函数的构建。
关于支持向量机里的拉格朗日乘子法有很多文章，作为学习笔记这里就不详细描述了，只记录一些一般文章里跳过的难以理解部分
Support Vector Machine wiki ： https://en.wikipedia.org/wiki/Support_vector_machine
- 拉格朗日乘子法和KKT条件
1.1 对于无约束优化问题中，如果一个函数f是凸函数，那么可以直接通过f(x)的梯度等于0来求得全局极小值点。
1.2 对于等式约束，以下例子来说明：
令g(x, y) 为约束条件，我们需要求f(x, y)的min/max value. 用下面的图来直观理解：
f(x, y)是中间的圆，随着x和y变大会不断外扩，两条蓝线就是g(x, y) = 0的曲线
他们相切的时候就是min/max value（不详细解释，很多文章可以看）
相切意味着梯度方向相同，这里经常会跳过一段，梯度向量的表达方式：
就是矩阵形式求偏导，既然他们方向一致，那么我们就有：
把方程都联立起来，我们就有：
最低0.47元/天 解锁文章
546
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
