凸优化基础



 转载自：http://blog.renren.com/share/100813717/8297372994

课程名称： 凸优化 Convex Optimization

学分：3

教师：王书宁 教授，  李力 副教授

教材：S. Boyd  和 L. Vandenberghe《Convex Optimization》

课程简介：

 

斯坦福大学的 Boyd 和加州大学洛杉矶分校的 Vandenberghe 合著的《Convex Optimization》是凸优化领域的经典教材，在世界范围内得到了广泛的应用。我们的课程将使用这本教材，介绍凸集、凸函数、上境图、凸包、仿射包、相对内点等凸分析的基本概念及其相关性质；讨论凸性在最优化问题中的基本作用，介绍最优解集的存在性定理、投影定理、凸集分离定理、支撑超平面定理以及一般性的极小极大定理和鞍点定理；讨论 Farkas 引理、凸多面体的 Minkowski Weyl 表示定理、Danskin 定理、广义Fritz John条件以及各种常用约束品性。 给出凸问题的常用解法并介绍凸优化的相关应用。

 

今年我们课题组（王书宁、许鋆、黄晓霖）将 《convex optimization》翻译成了中文，计划于今年内由清华大学出版社出版，并将提供给选修本门课程的同学。为让大家更好地了解凸优化，特将许鋆师姐翻译的序言部分抄录如下：

------------------------------------------------------------------------------------------------------------------------------------

本书研究优化问题的一个重要分支：凸优化。事实上，最小二乘以及线性规划问题都属于凸优化问题。众所周知，关于最小二乘和线性规划问题的理论相当成熟，它们出现在很多应用领域，均能很快地进行数值求解。本书的基本观点是，除了这两个问题以外，还有很多凸优化问题亦是如此。

尽管凸优化的研究已经持续了一个世纪左右，然而，最近一些相关的研究成果使得这一问题重新引起人们的关注。这当中首推对内点法的重新认识。内点法于 20 世纪 80 年代提出，本是用以求解线性规划问题，但是最近人们认识到，它亦可以被应用于求解凸优化问题。这些新的方法使得我们可以如线性规划一样有效求解一些特殊的凸优化问题，如半定规划以及二阶锥规划问题。 

第二个相关的研究成果是人们发现凸优化问题（不仅仅是最小二乘和线性规划）在实践中的应用远远超乎人们的想象。从 20 世纪 90 年代开始，凸优化即被用在自动控制系统，估计和信号处理，通信网络，电路设计，数据分析以及建模、统计和金融方面。此外，在组合优化以及全局优化方面，凸优化经常被用来估计最优值的界以及给出近似解。我们相信，还有很多其它凸优化的应用领域正在等待着人们去发现。

发现某个问题是凸优化问题或能将其描述为凸优化问题将会大有裨益。最本质的好处就是对此问题可以用内点法或者其他凸优化方法进行可靠迅速的求解。这些求解方法可靠，足以嵌入于电脑辅助设计或分析工具，甚至用于实时响应系统或者自动控制系统。此外，将某个问题描述为凸优化问题还具有理论或概念上的优越性。例如，对于相应的对偶问题，经常可以基于原问题给出有意义的解释，有时可导向有效的或分布式的求解方法。

我们认为，凸优化非常重要，任何从事计算数学的人至少需要对其有一定的了解。在我们看来，凸优化理所当然地是继近代线性代数（如最小二乘，奇异值）和线性规划之后的又一重要领域。

本书目的 

 

对于很多一般的优化方法，通常的做法是将方法试着应用于待解决的问题。然而，与此不同，对于凸优化方法，只有当我们意识到待求解的是凸问题时才能真正获得凸优化的效益。当然，很多优化问题是非凸的，因此，判断某个问题是否凸或者将某个问题表述为凸优化的形式是比较困难的。

我们的主要目的是帮助读者掌握应用凸优化方法的相关知识，即判断，描述以及求解凸优化问题的技能和背景知识。

学习凸优化的相关应用对数学要求较高，对于主要关注应用的读者更是如此。根据我们的经验，对于电气工程以及计算科学的研究生来说，在这方面的投入会获得良好的，有时是丰厚的回报。

在此之前，有不少关于线性规划以及一般的非线性规划方面的书籍，这些书籍的侧重点在于问题的描述，建模以及应用。另有一些书籍主要讨论凸优化的理论，内点法以及复杂度分析。本书介于二者之间，介绍一般的凸优化理论，侧重于问题描述以及建模。

我们也要指出本书不追求什么。它不是一本侧重于凸分析或者凸优化的数学知识的教材，已经有一些别的书籍涵盖了这些内容。此外，本书也不是凸优化算法的一个综述。我们只是挑选了一些较好的算法，介绍其简化了的或者是典型的形式（但是它们在实践中确实能发挥作用）。我们也不试图涵盖求解凸问题的内点法（或其它方法）的最新发展动态。虽然我们所提供的一些数值仿真实例经过了高度简化，但是我们认为，它们能够适应一些潜在用户的应用要求。并且，对于一些凸优化方法，我们详细地探讨了如何利用问题的结构使得求解更为迅速。对于所描述算法的复杂性理论，我们也只是以一种简单方式进行了介绍。然而，对于内点法的自和谐和复杂度分析的重要思想我们都有一定的介绍。

读者范围

对于在工作中需要用到数学优化，或者更一般地说，用到计算数学的科研人员，科学家以及工程师，本书较为适合。这些人群包括直接从事优化或者运筹学的科技工作者，亦包括一些工作在其他科学和工程领域但是需要借助数学优化工具的科技工作者，这些领域包括计算科学，经济学，金融，统计学，数据挖掘等。本书的主要出发点是针对后者，即可能使用凸优化的科技工作者，而不是针对人数相对少很多的凸优化领域的专家。

在阅读本书之前，读者只需要掌握现代微积分和线性代数的相关知识。如果读者对一些基本的数学分析知识（如范数，收敛性，初等拓补学）和基本的概率论有一定的了解，应能较好地理解本书的所有论证和讨论。当然，我们希望即使没有学过数学分析和概率论的读者也能够理解本书所有的基本思想和要点。此外，本书的正文以及附录部分包含了数值计算和优化方法需要的所有辅助资料，因此，读者并不需要事先通晓这些知识。

使用本书作为教材

我们希望本书能够在不同的课程中作为基本教材或者是参考教材发挥它的作用。从 1995 年开始，我们即在 Stanford 和 UCLA 的一些研究生课程中使用本书的初稿，这些课程包括线性优化，非线性优化和凸优化（偏工程应用）。我们的经验表明，用一个研究生课程的四分之一时间即可以粗略讲授完本书的大部分内容，如果用一个满学期的课程时间，讲课进度就可以比较从容，也可以增加更多的例子，并且更加详尽地讨论有关理论。若能用两个四分之一的研究生课程时间，就可以对线性规划和二次规划（对于以应用为目的的学生极为重要）这些基本内容进行较广泛的讨论，或者对学生布置更多的大练习。

本书可以作为线性优化，非线性优化等基础课的参考读物。对于涉及到凸优化的应用领域如控制系统等课程，本书亦可以作为替换教材。此外，对于凸优化方面更为理论的书籍，本书可以作为辅助教材，可以关注其中提到的一些简单的实际例子。

 致谢 

本书的完成历时将近十年。这十年中，我们收到了不少关于本书的反馈以及建议，这些建议来自我们的研究生，我们课程上的学生以及我们在 Stanford 和 UCLA 的同事等。篇幅有限，我们无法一一表达我们的感谢，仅列出下述名单，表达我们诚挚的谢意。

A. Aggarwal, V. Balakrishnan, A. Bernard, B. Bray, R. Cottle, A. d'Aspremont, J. Dahl, J. Dattorro, D. Donoho, J. Doyle, L. El Ghaoui, P. Glynn, M. Grant, A. Hansson, T. Hastie, A. Lewis, M. Lobo, Z. Q. Luo, M. Mesbahi, W. Naylor, P. Parrilo, I. Pressman, R. Tibshirani, B. Van Roy, L. Xiao, 和 Y. Ye.。

我们要感谢 J. Jalden 以及 A. d'Aspremont 在时间序列分析 \S6.5.4 中所提供的例子，\S6.5.5 中界定顾客喜好的例子也是由他们提供。此外，感谢 P. Parrilo 对习题 4.4 以及 4.56 所提供的建议。

我们还要特别感谢两个人。Arkadi Nemirovski 引发了我们对凸优化的兴趣并且鼓励我们撰写本书。而 Kishan Baheti 对于本书的完成也是发挥了极大的作用。早在 1994 年，他就鼓励我们以凸优化在实际工程中的应用为题申请美国科学基金会的科研课程基金，本书可以认为是当年的基金成果，虽然在时间上可能有所滞后。

  

Stephen Boyd  斯坦福, 加利福尼亚

Lieven Vandenberghe 洛杉矶, 加利福尼亚