连续投影算法_数值优化|笔记整理（8）——带约束优化：引入，梯度投影法

上一节笔记：

学弱猹：数值优化（7）——限制空间的优化算法：LBFGS，LSR1​zhuanlan.zhihu.com

————————————————————————————————————

大家好！这一节我们会开辟一个全新的领域，我们会开始介绍带约束优化的相关内容。带约束优化在某些细节上会与之前的内容有所不同，但是主要的思路啥的都会和我们之前的传统方法一致，所以倒也不必担心。

那么我们开始吧。

目录

• 带约束优化问题的基本框架与支撑性质
  • 优化边界举例
• 梯度投影法
• 标准化的梯度投影法

Source

• D. P. Bertsekas. Nonlinear Programming
• C. T. Kelley. Iterative Method for Optimization
• 课堂笔记，教授主页：

https://www.math.fsu.edu/~whuang2/index.html​www.math.fsu.edu

带约束优化问题的基本框架与支撑性质

一般来说我们会研究的问题长这个样子

其中

是实值函数，并且在很多情况下，这里的

都是凸集。在带了约束的情况下，我们的

所有的优化步骤都必须局限在约束内。所以自然需要引入很多额外的定义，也就是说在介绍具体的方法之前， 我们会用大量的定义和定理为大家构建一个带约束优化问题的框架，这样的话在遇到一些带约束优化特有的情形的时候，就不会感到奇怪。

首先是下面这个定义

Definition 1: Projection
设

为一个在希尔伯特空间内的凸集，那么对任意的

，我们定义它到

的投影为

，这里的范数定义为内积生成的范数，也就是

。

说它是投影也无可厚非，只不过这个投影和单纯的“投影到地面上”啥的相比，做了一个拓展。所以关于这个投影，是否还具有一般的性质呢？这就是下面要说的。

Proposition 1:
设

是一个凸而闭的集合，那么

(1) 投影存在且唯一。
(2) 对任意的

，

当且仅当

，有

。

(3) 投影算子

连续，并且有

，有

。

我们证明一下这个结论。第一个看起来好像很难，我们先看第二个。假如说我们有

，那么注意到投影到的点满足的条件是

与原始点的距离最小，所以一个常见的思路就是计算距离，并通过加减项的方式“拆出”我们想要的东西。具体来说，就是对于任意的

，有

然后只需要带入我们的结论即可（因为欧氏空间中，

）。

另一方面，假如说我们有

，那么这个时候对于任意的

，都会有

。现在我们假设我们有

，那么我们的思路就是

沿着

的方向稍微走那么一点，来看看是否有反例

。具体为什么这么做我们后面给大家解释。

设

，那么这个时候，我们有

，设

，

，那么我们有

。那么这个时候不难得到

这里要注意的是，根据条件我们有

，换句话说，一定会存在一个数

，使得

，这就矛盾了，因为一方面我们移动的距离很短，所以可以保证我们的点还在这个集合内，而另一方面，我们有要求过距离最小，但是我现在找到了一个新的点

，它的距离可以做到更小，这是不可能的。到此我们就算证明了这个结论。

这一张图说明了这个性质想告诉我们什么，也点出了证明思路。

具体说就是，实际情况下，投影到两个我们关心的目标点

的夹角

应该是直角/钝角，如果是锐角的话，那么我们在

这一条线上一定可以找到一个点，使得

的距离变小，就不再符合投影的定义了。这也就是一个非常简单的“垂线段最短”的道理。

再来说说第三个结论，第三个结论其实就是利用一下我们的不等式。设

，那么我们会有

简单的组合一下就会有$left le 0$，这样的话其实不难得到的是

两边约分即可得到我们想要的结果，而这个结果其实就隐含了算子的连续性。

关于第一个性质的证明，其实严格来说算是拓扑学的内容，简单来说，在一个有限闭集上取定义域的连续实值函数是可以取到极大极小值的。具体的细节我们这里不详谈，但是为了方便理解，我们放一个链接

学弱猹：拓扑学Ⅱ|笔记整理（4）——紧致性，列紧性​zhuanlan.zhihu.com

在这里的Propositi