统计学习方法——拉格朗日对偶性

摘自——李航老师《统计学习方法》附录

在学习SVM时，感觉对偶性有点难以理解，在看了《统计学习方法》和一些博客后，写了这篇笔记。主要是对于含有不等式约束的情况下，可以应用KKT（库恩-塔克）条件的内容。
以下附上一些博客链接：
https://blog.csdn.net/xianlingmao/article/details/7919597
https://www.cnblogs.com/xxrxxr/p/7536131.html
https://blog.csdn.net/wangkr111/article/details/21170809?utm_source=app

作用

利用拉格朗日对偶性可以将原始问题转化为对偶问题，先求得对偶问题的解，进而得到原始问题的解。

原始问题

对于含有不等式约束的优化问题，原始最优化问题如下：

对此，常用的方法是KKT条件，即，把所有的不等式约束、等式约束和目标函数写为广义拉格朗日函数：

其中，x=(x¹,x²,…,xⁿ)T∈Rⁿ，αi，βj是拉格朗日乘子，αi≥0，

对上式的理解：

所以当αi*ci=0时， L(x,α,β)最大，且值为f(x)，此时，广义拉格朗日函数等价于原始问题，即

所以原始问题为：

所以，原始最优化问题等价于：

上述等价问题称为广义拉格朗日函数的极小极大问题，所以，我们把原始最优化问题表示为广义拉格朗日函数的极小极大问题。

为了后续讨论方便，定义原始问题的最优值：

对偶问题

定义原始问题的对偶问题：

上式称为广义拉格朗日函数的极大极小问题。

再定义对偶问题的最优值：

原始问题和对偶问题的关系

定理1：若原始问题和对偶问题都有最优值，则

证明：
易知， 对于任意的α，β和x，有下面的条件成立：

又因为原始问题和对偶问题都有最优值，所以：

即，

定理2：附上《统计学习方法》截图：

定理3：附上《统计学习方法》截图：