↑↑↑↑↑点击上方蓝色字关注我们!
『视学算法』转载
作者:李竞宜 覃含章
编者按
拉格朗日对偶理论对当今社会的发展起到了极大的推动作用。但是书本上对拉格朗日对偶理论的讲解往往比较空洞,本文收录了两位知乎答主的回答。一起帮助读者理解拉格朗日对偶问题。
李竞宜回答
关于对拉格朗日对偶的理解,Boyd的那本《Convex Optimization》中给出了很多种解释方法,比如通过函数值集合理解、鞍点解释、博弈解释和经济学解释等,我认为除了基于价格和税的经济学解释比较符合题目要求的通俗解释之外,其他的理解方法直接阅读,对于初学者来说都算不上通俗,比较生涩难懂,尤其是对线性代数不够熟练的情况下。
这里仍然采用Boyd那本书中5.3.1节通过函数值集合理解强弱对偶性,原书中先进行了具有一般性的理论推导,然后才进行了一个举例帮助理解,没有看懂前面的推导可能并不知道后面的简化情形在讲什么东西。这里采用相反的思路并且更加详细的说明这个问题,首先使用一个简单的例子直观地理解强弱对偶性,然后再推广到更一般的情况。这样有利于更加通俗地理解这个问题。
至此,我们探讨了在仅有一个不等式约束情况下强弱对偶性的几何理解,接着我们应该要讲问题拓展到一般情形下。后面的内容我基本上直接采用Boyd的《Convex Optimization》中的描述,如果目的只是想简要、感性地理解强弱对偶性,下面的内容可以不用看了。另一方面,如果再看下面内容的时候觉得有些关于法向量和超平面相关的内容无法理解的话,说明对线性代数的知识还是不够完备,可以考虑出门右拐加强一下线性代数,个人比较推荐MIT的公开课(见参考文献)。
含章回答
我们考虑优化问题如下,记作问题(P)。(文章转载自知乎,但编辑器似乎出了点问题,这里用方括号代替了圆括号)
版权声明:这里的内容(包括那张图)基本都来自于Robert M. Freund和Jorge R. Vera合写的Fundamentals of Nonlinear Optimization: a Constructive Approach的草稿(这书应该还没出版)。
参考文献:
https://ocw.mit.edu/courses/mathematics/18-06sc-linear-algebra-fall-2011/
文章须知
文章作者:李竞宜 覃含章
责任编辑:苏向阳 覃含章
审核编辑:阿春
微信编辑:玖蓁
原文链接:
https://www.zhihu.com/question/58584814/answer/1119054535
https://www.zhihu.com/question/58584814/answer/166737708