关于吴恩达机器学习支持向量机的问题,讲到对偶前有一个最小化f（w）使用拉格朗日求解时转化成一个最大的相等式的理解和一些困惑...

（纯属个人理解）

参考：

https://www.zhihu.com/question/267482928

https://www.cnblogs.com/90zeng/p/Lagrange_duality.html

下面图片来源：https://www.zhihu.com/question/267482928

 

盗用下知乎问题的别人发的图片，有涉及法律等问题联系我删除哈 。

 

 

上面该同学提出的问题一个最大，一个最小怎么相等哈？其实该同学描述的不准确，应该是一个是最小最大和一个是最小。再准确的描述是：

一个最小最大的拉格朗日式子和一个最小的式子加上两个约束条件是如何等价的？

其实，我的理解是这样的，因为求解下面约束性问题，由于多个等式是不好计算的，这时候就出现了拉格朗日公式，将三个式子整合成一个式子。

 

下面是拉格朗日整合成一个式子的表达式：

但是，约束条件怎么体现出来呢？，我们比较简单的拉格朗日式子添加的是等号（就是上面的hi），添加的

beta参数也是不加限制（-无穷，+无穷），这时候，对于不等号约束就使用最大来表达，当上式子中

alphas取正，为什么取正？因为gi是<= 0的，取正以后加上配合max，就使得拉格朗日式子可以代表上面的约束式子了。

为什么上面的拉格朗日式子取max时可以取代呢？？？

主要疑惑在不等号那里，现在使用反证法，假设式子不成立，且alphas取正，这时候，就使得max的拉格朗日式子

的结果为正无穷，所以如果我们使得alphas取正，且max的拉格朗日式子结果就不是正无穷，就可以推导出隐含着

这个条件。也就是 =max ，所以：

min =min max

 

转载于:https://www.cnblogs.com/YouXiangLiThon/p/9087867.html