拉格朗日乘子法_通俗易懂 | SVM之拉格朗日乘子法

a0136ed8fe3db9a4598f6c2731b2faa0.gif

在SVM中,将约束问题转化成非约束问题采用到了拉格朗日乘子法。这个文章就讲一下拉格朗日乘子法与KKT约束是怎么回事。本人不是数学科班出身,但是也只能硬着头皮讲一讲了。

从零理解

现在我们要解决这样一个问题:这个函数距离原点最近的距离是多少。

先画出函数图像:26b28fc6c2bfcb0c450ee41c03e0e296.png

然后想求出最短距离:e0fa077625f1e0c8933e19b109d9c4c0.gif

这里的思路就是,做一个以原点为中心的圆形:537aa10230b0c588bc4fbdc4293d81e5.gif

不断扩大圆形的半径,直到圆与蓝色的曲线相切:25d8e213c7ad1f0c260d533a28fd45e1.gif

现在。第一次与相交的点就是距离原点最近的那个点:77bce5925e13cb1448469b601215645e.png

这个,圆形与曲线相切,且切线既是圆形的切线,也是曲线的相切。d4f9d63921d7d5d2e0e71c2b082dbbea.png

这时候,这个切线的垂线其实也就是我们所说的梯度,也叫做等高线的法线,看下面两个图可能会好理解一些:b9e1fa3e99fa4110880fc28c613b3282.png04b39320b0397f4d00714b9408857f73.png

那么这个梯度怎么计算呢?先看圆形的梯度:9481ecf9684921acd0428a2409502756.png

再看曲线的梯度计算的梯度:65605f1e71971560e7cf2e4da3dfa405.png

在相切的时候,两者的梯度方向都在同一条直线上,可以称之为,成比例,这里用比例系数来表示:731589cfdc41e0ccc973a8aacbb8dac0.png

所以我们汇总一下所有的已知信息,得到下面的方程组:392321d28a63df46a37811a64040e9ca.png

可以求解得到:e77a647c6d5316a98b15929c64fc6636.png

这个就是拉格朗日乘子法的直观理解。

抽象成数学的形式

我们要解决的问题:

我们会将约束问题通过拉格朗日乘子法转换成非约束问题:

【为什么可以这样呢?】如果求极值,偏导数为0。先对上面的公式进行求偏导数:

这两个等式与这个等价,唯一的不同就是一个是正数一个是负数:90b4f5483b69c1281db36f5ccc6f382c.png

当然,对于这个条件,我们也可以写成,所以,可以得到这样的一个方程组:df0595a668b2ba0768f1a738faeba7f5.png

KKT条件

  • KKT的英文全称:Karush-Kuhn-Tucker

之前的拉格朗日的约束条件是等值的,现在可以通过KKT条件推广到不等式。因为限制条件往往是不大于,小于这样的不等式,所以KKT才是拉格朗日化约束问题为非约束问题的关键。

对于不等式问题,就是有两种情况:

  • 可行解在g(x)<0;
  • 可行解在g(x)=0。

可行解在g(x)<0,就表示这个约束条件并没有起到约束效果,有跟没有是一个效果(下图中的左图);可行解g(x)=0,就表示这个约束条件起到作用了,这就表示g(x)与f(x)相切,也就是下图中右边的图。

ab3d81dafdbacb77d4365aa174dbefd9.png

【g(x)<0的情况】这种情况下,就是没有限制条件下的情况,其实就是没有约束条件的限制,也就是的情况,所以我们的等式就是直接求解:

【g(x)=0的情况】如果是g(x)=0的情况,那也就是约束条件起到作用了,也就意味着。在这种情况下,存在着:并且两个函数的扩张的方向相反,所以表明两个g(x)和f(x)的梯度一个是正数,一个是负数。所以这个表示。

所以综上所述,在这种情况下,我们所有的条件综合起来可以得到,其中就是最优解:

这三个就是KKT条件。

<>

项目总结 | 八种缺失值处理方法总有一种适合你

项目总结 | 对 "时间" 构建的特征工程

AI面试题之SVM推导

AI面试扩展之LightGBM = GOSS + histogram + EFB

AI面试题之XGBoost与手推二阶导

AI面试题之GBDT梯度提升树

AI面试题之防止过拟合的所有方法

AI面试题之梯度消失(爆炸)及其解决方法

<>

 大汇总 | 一文学会八篇经典CNN论文

一分钟速学 | NMS, IOU 与 SoftMax

图像增强 | CLAHE 限制对比度自适应直方图均衡化

干货 | BatchNormalization详解与比较

【评价指标】详解F1-score与多分类MacroF1&MicroF1

AI面试题之(反)卷积输出尺寸计算

a4a360562db7d76eebb191a468342d69.gif

  • 强烈推荐 | 李宏毅老师“2020年最新深度学习从入门到精通视频教程”,公众号回复【李宏毅老师】免费获取~

  • 关注公众号,回复【下载】有免费的精选的机器学习相关的PDF学习资料,持续更新哦!

  • 回复【入群】,加入校招微信群,和大佬一起交流面试心得。

  • 公众号经常会有福利送书活动哦~

7d53f6b9ac75000c06c5f97fc673c32e.png

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

打赏
文章很值,打赏犒劳作者一下
表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
©️2020 CSDN 皮肤主题: 1024 设计师:白松林 返回首页

打赏

weixin_39553757

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者