最优化方法 18：近似点算子 Proximal Mapping

前面讲了梯度下降法，分析了其收敛速度，对于存在不可导的函数介绍了次梯度的计算方法以及次梯度下降法，这一节要介绍的内容叫做近似点算子(Proximal mapping)，也是为了处理非光滑问题。

1. 闭函数

在引入闭函数(closed function)的概念之前，我们先回顾一下闭集的概念：集合 $\mathcal{C}$ 是闭的，如果它包含边界，也即
$$x^k\in \mathcal{C},x^k\to \bar{x}\Rightarrow \bar{x}\in \mathcal{C}$$
并且有以下几个简单的原则可以保持集合闭的性质：

1. 闭集的交集还是闭集；
2. 有限个闭集的并集还是闭集；
3. 如果 $\mathcal{C}$ 是闭集，则线性映射的原象也是闭集，也即 { x ∣ A x ∈ C } \{x|Ax\in\mathcal{C}\} { x∣Ax∈C} 是闭集。

第 3 条原则反过来则不一定成立，也即如果 $x\in \mathcal{C}$ 是闭集，那么 { A x ∣ x ∈ C } \{Ax|x\in\mathcal{C}\} { Ax∣x∈C} 则不一定是闭集，比如我们可以取函数 $f(x)=1/x$ 的 epigraph 为闭集 $\mathcal{C}$，然而 $(x,y)$ 向 $x$ 轴的投影则是一个开集，严格表示与图示如下
$$\mathcal{C}=\left\{\left(x_1,x_2\right)\in {\mathbb{R}}_{+}^2|x_1{x}_2\ge 1\right\},A=[1,0],A\mathcal{C}={\mathbb{R}}_{++}$$

第3条逆原则反例	第3条逆原则充分条件

当然，如果加一些其他的约束条件，则可以保证第 3 条反过来也成立：$A\mathcal{C}$ 是闭的，如果

1. $\mathcal{C}$ 是闭的且为凸集；
2. 并且 $\mathcal{C}$ 不存在一个可以无穷延伸的方向(recession direction)属于 $A$ 的零空间，也即 $Ay=0,\hat{x}\in \mathcal{C},\hat{x}+\alpha y\in \mathcal{C},\forall \alpha >0\Rightarrow y=0$，图示即如上。

然后我们就可以定义**闭函数(closed function)**了，函数 $f$ 为闭的，如果他的 epigraph 为闭集或者他的所有下水平集为闭集。有以下两种简单的特殊情况：

1. 如果 $f$ 连续且定义域 $\text{dom}f$ 为闭的，则 $f$ 为闭函数；
2. 如果 $f$ 连续且定义域 $\text{dom}f$ 为开的，则 $f$ 为闭函数当且仅当其在 $\text{dom}f$ 边界处收敛至 $\infty$。

例子 1：$f(x)=x\log x,\text{dom}f=R_{+},f(0)=0$

例子 2：闭集的指示函数 ${\delta }_C(x)=\{\begin{array}{ll}0& x\in C\\ +\infty & o.w.\end{array}$

反例 3：$f(x)=x\log x,\text{dom}f=R_{++}$ 或者 $f(x)=x\log x,\text{dom}f=R_{+},f(0)=1$ 不是闭函数

反例 4：开集的指示函数不是闭函数

闭函数有一些有用的性质，比如：

1. $f$ 为闭函数当且仅当他的所有下水平集都是闭集；
2. 如果 $f$ 为闭函数，且下水平集有界，那么存在最小值点(minimizer)。

Theorem (Weierstrass) ：假设集合 $D\subset \mathcal{E}$ ($R^n$空间中有限维向量子空间) 非空且闭，并且连续函数 $f:D\to R$ 的所有下水平集都有界，则 $f$ 存在全局最小值点(global minimizer)。

对于闭函数来说也有一些原则可以保持闭的性质：

1. 如果 $f,g$ 均为闭函数，则 $f+g$ 为闭函数
2. 如果 $f$ 为闭函数，则 $f(Ax+b)$ 为闭函数
3. 如果任意 $f_{\alpha }$ 都是闭函数，则 ${\sup }_{\alpha }{f}_{\alpha }(x)$ 为闭函数

2. 共轭函数

共轭函数(conjugate function) 前面已经讲过了，这里再简单回顾一遍。函数 $f$ 的共轭函数定义为
$$f^{\star }(y)=\underset{x\in \text{dom}f}{\sup }(y^{T}x-f(x))$$

并且共轭函数有一些重要的性质：

1. 共轭函数一定是闭函数，且为凸函数，不论 $f$ 是否为凸函数或闭函数（因为 $f^{\star }$ 的 epigraph 可以看成很多个半空间的交集）；
2. (Fenchel’s inequality) $f(x)+f^{\ast }(y)\ge x^{\top }y,\forall x,y$
3. (Legendre transform) 如果 $f$ 为凸函数且为闭函数，则有 $y\in \partial f(x)\iff x\in \partial f^{\ast }(y)\iff x^{\top }y=f(x)+f^{\ast }(y)$
4. 如果 $f$ 为凸函数且为闭函数，则 $f^{\star \star }=f$

除此之外还有一些代数变换的原则，推导也都比较简单：

1. $f\left(x_1,x_2\right)=g\left(x_1\right)+h\left(x_2\right),f^{\ast }\left(y_1,y_2\right)=g^{\ast }\left(y_1\right)+h^{\ast }\left(y_2\right)$
2. $f(x)=\alpha g(x),f^{\ast }(y)=\alpha g^{\ast }(y/\alpha )(★)$
3. $f(x)=g(x)+a^{\top }x+b{f}^{\ast }(y)=g^{\ast }(y-a)-b$
4. $f(x)={\inf }_{u+v=x}(g(u)+h(v))f^{\ast }(y)=g^{\ast }(y)+h^{\ast }(y)$

共轭函数的计算就不多举例子了，这里主要列出来后面用的比较多的而且比较重要的，其他的可以参考前面的笔记 6：

例子 1：$C$ 为凸集，则指示函数 $f(x)={\delta }_C(x)$，其共轭函数为支撑函数
f ⋆ ( y ) = sup ⁡ { y T x ∣ x ∈ C } f^\star(y) = \sup\{y^Tx|x\in C\} f