Proximal Algorithms 6 Evaluating Proximal Operators

Proximal Algorithms

需要注意的一点是，本节所介绍的例子可以通过第二节的性质进行延展.

一般方法

一般情况下proximal需要解决下面的问题:

其中$x\in {\mathbb{R}}^n$, $\mathcal{C}=\mathbf{d}\mathbf{o}\mathbf{m}f$.

我们可以使用梯度方法(或次梯度)方法来求解, 还有一些投影方法， 内点法等等.

二次函数

如果$f(x)=(1/2)x^{T}Ax+b^{T}x+c$, 其中$A\in {\mathbb{S}}_{+}^n$，于是:
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)=(I+\lambda A{)}^{-1}(v-\lambda b)$$
证:
设$\phi (x)=(1/2)x^{T}Ax$, 根据第二节介绍的仿射性质可得:
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda \phi }(v-\lambda b)$$
又$\partial \phi =A$, 故得证.

特别的$f(x)=b^{T}x+c$则${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)=v-\lambda b$, $f(x)=c$, ${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)=v$, 而当$f(x)=(1/2)\Vert \cdot {\Vert }_2^2$时:
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)=(\frac{1}{1+\lambda })v$$
这玩意儿有时候被称为压缩算子.

估计proximal operator的时候，需要求解一个线性方程组:
$$(I+\lambda A)x=v-\lambda b$$
线性方程组怎么求解这里就不讨论了吧.

不过，这个应该多数用在$f(x)+g(x)$这种情况吧，因为如果单纯想要最小化$f(x)$，直接可以求出显示解，所以可能是$f(x)+|x|$这种类型的？

平滑函数

文章里介绍了如何用梯度方法和牛顿方法，不提了.

标量函数

f : R → R ∪ { + ∞ } f: \mathbb{R} \rightarrow \mathbb{R} \cup \{+\infty\} f:R→R∪{+∞}, 通过之前几节的介绍，这个情况还是蛮有意义的，因为通过proximal operator的可分性质等，有很好的扩展.
显然，此时，最优条件为:
$$v\in \lambda \partial f(x)+x$$
比如：
$$\begin{gathered} f(x)=-\log x \\ \Rightarrow {\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)=\frac{v+\sqrt{v^2+4\lambda }}{2} \end{gathered}$$
又比如当$f(x)=|x|$:

一般的标量函数

如果对于$f$，其次梯度是可获得的，那么我们可以利用localization method来有效估计${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}$, 这种方法有点类似于二分法.

我们从$[l,u]\in \mathbf{d}\mathbf{o}\mathbf{m}f$开始, 如果$v$在区间之外，返回最靠近$v$的点？(应该就是挑$\mathbf{d}\mathbf{o}\mathbf{m}f$中最靠经$v$的点作为边界吧) 算法会在$u-l<ϵ$的时候终止.

注：上面的第一步的意思应该是如果$v$在区间里面就取$v$，否则取中间的点.
如果$g>0$,那么$\phi (z)\ge \phi (x)+g(z-x)$, 显然，当$z>x$不是最优的，而$z=x-\lambda g$是一个下界. 为了说明这一点，假设$h_z\in \partial f(z)$. 因为$g>0,\lambda >0$, 所以$z<x$，则$h_z\le h$(因为凸函数的次梯度是单调的), 令:
$$g_z=h_z+(1/\lambda )(z-v)\in \partial \phi (z)$$
于是
$$h_z+(1/\lambda )(z-v)=h_z+(1/\lambda )(x-\lambda (h+(1/\lambda )(x-v))-v)$$
等式右边是$h_z-h\le 0$, 所以新的$[l,u]$就是一端小于0，一端大于0， 不过这对一开始的$l,u$有要求吧.

如果$f$是二阶连续可微的，那么，可以用guarded Newton方法来找$x^{\ast }$，不理解曲中的缘由，贴个图吧.

多边形

这一小节，考虑投影至多边形的问题，多边形可以用 一系列线性方程和不等式描述:
C = { x ∈ R n ∣ A x = b , C x ≤ d } \mathcal{C} = \{x \in \mathbb{R}^n| Ax=b, Cx\le d\} C={x∈Rn∣Ax=b,Cx≤d}
其中$A\in {\mathbb{R}}^{m\times n},C={\mathbb{R}}^{p\times n}$.

投影问题可以表示为(计算$\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}$便会遇到此问题):

对偶

当$m,p$都远小于$n$的时候，利用对偶方法是方便的.

(6.4)的对偶问题是:

其中$v\in {\mathbb{R}}^m,\eta \in {\mathbb{R}}^p$为对偶变量(上面的式子不难推出，这里不证了).

对偶问题是:
$$\begin{array}{lc}\max & g(v,\eta )\\ s.t.& \eta \ge 0\end{array}$$
这是一个$m+p$个变量的二阶规划(QP)问题，且:
$$x^{\ast }=v-A^T{\lambda }^{\ast }-C^T{v}^{\ast }$$
这个最优解的恢复是由KKT条件得来的.上面的问题，似乎可以用内点法有效解决，下次找机会再看看. 文章还提到了如何使得QP问题能够简单并行，这里便不多赘述了.

仿射集合

即
C = { x ∈ R n ∣ A x = b } \mathcal{C} = \{x \in \mathbb{R}^n| Ax=b\} C={x∈Rn∣Ax=b}
则:
$${\Pi }_{\mathcal{C}}(v)=v-A^{†}(Av-b)$$
其中$A^{†}$是伪逆.
如果$m<n,A$满秩，那么:
$${\Pi }_{\mathcal{C}}(v)=v-A^T(A{A}^T{)}^{-1}(Av-b)$$
这个我可以用一种比较麻烦的方法证明.
假设最优解为:$v-A^T(A{A}^T{)}^{-1}(Av-b)+u$,因为
$$A(v-A^T(A{A}^T{)}^{-1}(Av-b))=b$$
所以，根据线性方程组解的理论可知:
$$Au=0$$
那么问题可以转换为:
$$\begin{array}{lc}\min & \Vert A^T(A{A}^T{)}^{-1}(Av-b)-u{\Vert }_2^2\\ s.t.& Au=0\end{array}$$
再根据线性方程组的理论可知，$u$属于$A$的核，设:
$$A=UD{V}^T$$
其中$U\in {\mathbb{R}}^{m\times k},D\in {\mathbb{R}}^{k\times k},V\in {\mathbb{R}}^{n\times k}$.
我们只要找出$A^T(A{A}^T{)}^{-1}(Av-b)$在核空间的投影即可:
$$(I-V{V}^T)A^T(A{A}^T{)}^{-1}(Av-b)=0$$
即投影为0，也就是说$x=0$, 这也就证明了
$${\Pi }_{\mathcal{C}}(v)=v-A^T(A{A}^T{)}^{-1}(Av-b)$$

半平面

此时 C = { x ∣ a T x ≤ b } \mathcal{C} = \{x | a^Tx \le b\} C={x∣aTx≤b}, 而:
$${\Pi }_{\mathcal{C}}(v)=v-\frac{(a^{T}v-b{)}_{+}}{\Vert a{\Vert }_2^2}$$
其中 ( u ) + = max ⁡ { u , 0 } (u)_+=\max \{u, 0\} (u)+​=max{u,0}.

这个可以画个图来证明，注意到$\frac{(a^{T}v-b{)}_{+}}{\Vert a{\Vert }_2^2}$和点到直线距离的联系.

Box

box为如下形式 C = { x ∣ l ≤ x ≤ u } \mathcal{C} = \{x | l \le x \le u\} C={x∣l≤x≤u}, 及:

如果$\mathcal{C}={\mathbb{R}}_{+}^n$则:
$${\Pi }_{\mathcal{C}}(v)=v_{+}$$
这个感觉是显然的.

Simplex

Simplex 为如下形式 C = { z ∣ z ≥ 0 , 1 T z = 1 } \mathcal{C} = \{z| z\ge 0, 1^Tz=1\} C={z∣z≥0,1Tz=1}, 及
$${\Pi }_{\mathcal{C}}(v)=(v-\nu 1{)}_{+}$$
对于某些$\nu \in \mathbb{R}$.
满足
$$1^T(v-\nu 1{)}_{+}=1$$
利用二分法可以求解.

Cones

令$\mathcal{K}$为锥，以及${\mathcal{K}}^{\ast }$为其对偶锥. 那么问题为:
$$\begin{array}{lc}\min & \Vert x-v{\Vert }_2^2\\ s.t.& x\in \mathcal{K}\end{array}$$

对偶锥的定义:
K ∗ = { y ∣ x T y ≥ 0 , ∀ x ∈ K } \mathcal{K}^* =\{y| x^Ty \ge 0, \forall x \in \mathcal{K}\} K∗={y∣xTy≥0,∀x∈K}

对偶最优条件为：

$v=x-\lambda$这个条件我是存疑的，这样子原问题应该是$\frac{1}{2}\Vert x-v{\Vert }_2^2$，当然，这应该无伤大雅.

二阶锥

C = { ( x , t ) ∈ R n + 1 ∣ ∥ x ∥ 2 ≤ t } \mathcal{C} = \{(x, t) \in \mathbb{R}^{n+1} | \|x\|_2 \le t\} C={(x,t)∈Rn+1∣∥x∥2​≤t}

上面的东西，通过考虑下面的问题:
$$\begin{array}{lc}{\min }_{x,t}& \Vert v-x{\Vert }_2^2+(s-t{)}^2\\ s.t.& \Vert x{\Vert }_2\le t\end{array}$$
可以获得， 第二种情况是不需讨论的, 那么先来看第一种情况。
在$t\le \Vert v\Vert$的情况下，$x=t\frac{v}{\Vert v\Vert }$, 不妨令$u=\frac{v}{\Vert v\Vert }$.则，原问题为:
$$\min (\Vert v\Vert -t{)}^2+(s-t{)}^2$$
在$t=\frac{\Vert v\Vert +s}{2}$处取得极值，但是$\Vert v\Vert \le -s$， 所以此时$t\le 0$, 所以$t=0$. $t>\Vert v\Vert$的时候，$x=v$，于是原问题为:
$$\min (s-t{)}^2$$
那么$t=\Vert v\Vert$，显然没有0的时候小.

第三种情况的分析是类似的.

半正定锥

$\mathcal{C}={\mathbb{S}}_{+}^n$, 此时
$${\Pi }_{\mathcal{C}}(V)=\sum _{i=1}^n({\lambda }_i{)}_{+}{u}_i{u}_i^T$$
其中${\sum }_{i=1}^n{\lambda }_i{u}_i{u}_i^T$为特征分解.

指数锥

不了解，截个图吧

Pointwise maximum and supremum

max

如果$f(x)={\max }_i{x}_i$, 根据其上镜图，我们有等价形式:
$$\begin{array}{lc}\min & t+(1/2\lambda )\Vert x-v{\Vert }_2^2\\ s.t.& x_i\le t,i=1,\dots ,n\end{array}$$
其拉格朗日对偶形式为:
$$L(x,t,\mu )=t+(1/2\lambda )\Vert x-v{\Vert }_2^2+{\mu }^T(x-t1)$$
KKT条件为:

如果$x_i^{\ast }<t^{\ast }$，则表示(通过第三个条件)${\mu }_i^{\ast }=0$, 如果$x^{\ast }=t^{\ast }$，则表示$u_i^{\ast }=(1/\lambda )(v_i-t^{\ast })$, 又${\mu }_i^{\ast }\ge 0$， 总结为:
$${\mu }_i^{\ast }=(1/\lambda )(v_i-t^{\ast }{)}_{+}$$
再根据第五个条件可得:
$$\sum _{i=1}^n(1/\lambda )(v_i-t^{\ast }{)}_{+}=1$$
这个可以用半分法求解，初始的区间为$[{\min }_i{v}_i-(1/n),{\max }_i{v}_i]$.

最后
x ∗ = min ⁡ { t ∗ , v i } . x^* = \min \{t^*, v_i\}. x∗=min{t∗,vi​}.

support function

$\mathcal{C}$是一个凸集，其support function为:
$$S_{\mathcal{C}}(x)=\underset{y\in \mathcal{C}}{\sup }{y}^{T}x.$$

support function的共轭是指示函数.

$$S_{\mathcal{C}}^{\ast }(z)=\underset{x}{\sup }(z^{T}x-f(x))=I_{\mathcal{C}}.$$
通过Moreau 分解我们知道:
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda S_{\mathcal{C}}}(v)=v-\lambda {\Pi }_{\mathcal{C}}(v/\lambda )$$

一个例子是$f(x)=x_{[1]}+x_{[2]}+\dots +x_{[k]}$, 表$x$的前k个最大的和，可以用以下凸集的support function来表示:
C = { y ∣ 0 ⪯ y ⪯ 1 , 1 T y = k } . \mathcal{C} = \{y | 0 \preceq y \preceq 1, 1^Ty=k\}. C={y∣0⪯y⪯1,1Ty=k}.

Norms and norm balls

$f=\Vert \cdot \Vert$为一般的定义在${\mathbb{R}}^n$上的范数，则$f^{\ast }=I_{\mathcal{B}}$, 其中$\mathcal{B}$为对偶范数的单位球.

我们知道 f ( x ) = sup ⁡ y { y T x ∣ ∥ y ∥ ∗ ≤ 1 } f(x)=\sup_y \{y^Tx|\|y\|_*\le 1\} f(x)=supy​{yTx∣∥y∥∗​≤1}, 此为 B = { y ∣ ∥ y ∥ ∗ ≤ 1 } \mathcal{B}=\{y | \|y\|_*\le 1\} B={y∣∥y∥∗​≤1}的支撑函数，故$f^{\ast }=I_{\mathcal{B}}$.

对偶不是共轭的特例？

于是根据Moreau分解，有以下式子成立：

Euclidean 范数

当$f=\Vert \cdot {\Vert }_2$的时候:

以及：

${\ell }_1$ and ${\ell }_{\infty }$ norms

${\ell }_{\infty }$的$\mathcal{B}$是box，所以根据之前讨论过的:

引文${\ell }_1$和${\ell }_{\infty }$互为对偶，所以当$f=\Vert \cdot {\Vert }_1$的时候:

可以用更为紧凑的形式表示:
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)=(v-\lambda {)}_{+}-(-v-\lambda {)}_{+}.$$

欲计算${\ell }_{\infty }$的proximal operator并不容易，因为投影到${\ell }_1$的单位球比较麻烦.
我们需要计算一个$\lambda$，满足:
$$\sum _{i=1}^n(|v_i|-\lambda {)}_{+}=1.$$
可以用类似半分法的方法求解.

Elastic net

$f(x)=\Vert x{\Vert }_1+(\gamma /2)\Vert x{\Vert }_2^2$, $\gamma >0$.
此时
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)=(\frac{1}{1+\lambda \gamma }){\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda \Vert \cdot {\Vert }_1}(v).$$

范数和

$$f(x)=\sum _{g\in \mathcal{G}}\Vert x_g{\Vert }_2$$
其中$\mathcal{G}$是$[n]$的一个分割, 则:
$$({\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v){)}_g=(1-\frac{\lambda }{\Vert v_g{\Vert }_2}{)}_{+}{v}_g$$

sublevel set and epigradph

下水平集

$f$的$t-$下水平集合为:
S = { x ∈ R n ∣ f ( x ) ≤ t } \mathcal{S} = \{x \in \mathbb{R}^n| f(x) \le t\} S={x∈Rn∣f(x)≤t}
假设$v̸\in \mathcal{S}$ , 否则${\Pi }_{\mathcal{S}}(v)=v$.
此时${\Pi }_{\mathcal{S}}(v)$可以转化为下列问题:
$$\begin{array}{lc}\min & \frac{1}{2}\Vert x-v{\Vert }_2^2\\ s.t.& f(x)\le t.\end{array}$$
通过KKT条件可得最优条件为:
$$0\in x-v+\lambda \partial f(x),f(x)=t,\lambda >0$$
第一个条件，表示${\Pi }_{\mathcal{S}}(v)={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)$, 再根据第二个条件可得:
$$f({\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v))=t$$

我们可以通过二分法来寻找$\lambda$.

上镜图

函数$f$的上镜图为:
e p i f = { ( x , t ) ∣ x ∈ d o m f , f ( x ) ≤ t } . \mathbf{epi}f=\{(x, t)| x \in \mathbf{dom} f, f(x) \le t\}. epif={(x,t)∣x∈domf,f(x)≤t}.
针对${\Pi }_{\mathbf{e}\mathbf{p}\mathbf{i}f}(v,s)$:
$$\begin{array}{lc}\min & \frac{1}{2}\Vert x-v{\Vert }_2^2+\frac{1}{2}(t-s{)}^2\\ s.t.& f(x)\le t.\end{array}$$
同样假设$f(v)>s$KKT条件为:
$$\begin{gathered} f(x)=t \\ 0\in x-v+\lambda \partial f(x) \\ t-s=\lambda \\ \lambda >0. \end{gathered}$$
所以
$$v\in x+(f(x)-s)\partial f(x).$$
论文说这个问题比较难成立，有另外一种表示方法:

不知道怎么推的.

Matrix functions

Elementwise functions

这里将矩阵$A\in {\mathbb{R}}^{m\times n}$视为${\mathbb{R}}^{mn}$的向量，就能利用之前的方法了，比如${\ell }_1$的方法:
$$\Vert A{\Vert }_1=\sum _{i=1}^m\sum _{j=1}^n|a_{ij}|$$

正交不变

函数$F:{\mathbb{R}}^{m\times n}\to \mathbb{R}$,正交不变是指:
$$F(VXU)=F(X).$$
其中$U\in {\mathbb{R}}^{n\times n},V\in {\mathbb{R}}^{m\times m}$为正交矩阵, 这也意味着:
$$F(x)=F(\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\sigma }_s(X))).$$
其中 σ s : R m × n → R min ⁡ { m , n } \sigma_s:\mathbb{R}^{m\times n }\rightarrow \mathbb{R}^{\min\{m, n\}} σs​:Rm×n→Rmin{m,n}是奇异值映射.
正交不变算子$F$可以表示为:$f\circ {\sigma }_s$, 而
∂ F ( X ) = { V d i a g ( μ ) U ∣ μ ∈ ∂ f ( σ s ( X ) } , \partial F(X) = \{V\mathbf{diag}(\mu) U| \mu \in \partial f(\sigma_s(X)\}, ∂F(X)={Vdiag(μ)U∣μ∈∂f(σs​(X)},
其中$X=V\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\sigma }_s(X))U$. 这个的推导见之前关于矩阵次梯度的介绍.

这意味着:
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda F}(A)=V\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}({\sigma }_s(A)))U.$$
这个没依照论文来，论文似乎有更加直接的证明方法，我来讲一下我的:
$$\begin{array}{ll}{\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda F}(A)& =\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}\lambda F(X)+\frac{1}{2}\Vert X-A{\Vert }_F^2\end{array}$$
最优条件为:
$$\lambda \partial F(X)+X=A.$$
假设$X=V\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\sigma }_s(X))U$, 则:
$$V(\lambda \mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}(\mu )+\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\sigma }_s(X))U=A.$$
显然$A$的奇异值分解也为:
$$\begin{gathered} A=V\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\sigma }_s(A))U \\ \Rightarrow \lambda \mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}(\mu )+\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\sigma }_s(X))=\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\sigma }_s(A)) \end{gathered}$$
而
$$\begin{array}{ll}{\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}({\sigma }_s(A))& ={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_{{\sigma }_s(X)}\lambda f({\sigma }_s(X))+\frac{1}{2}\Vert {\sigma }_s(X)-{\sigma }_s(A){\Vert }_2^2.\end{array}$$
其最优条件为:
$$\lambda u+{\sigma }_s(X)-{\sigma }_s(A)=0.$$
显然二者的最有条件是一样的，所以成立.
当$F:{\mathbb{S}}^n\to \mathbb{R}$, 且$F(UX{U}^T)=F(X)$:
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda F}(A)=U\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(\sigma (A)))U^T$$
其中$A=U\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}(\sigma (A))U^T$.

后面还有一些关于矩阵范数，一些特殊集合的投影，以及如何求解对数障碍问题.