第六章: 临近算子
文章目录
本章所考虑的空间$\mathbb{E}$默认是欧式空间.
本章旨在介绍临近映射的相关内容. 这部分内容是本书后半部分许多算法的基础. 由于Moreau最先研究了临近算子及其性质, 所以我们也称这一映射为“Moreau临近映射”.
1. 定义、存在性和唯一性
定义1 (临近映射) 给定函数 f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f:E→(−∞,∞], 与 f f f相关的临近映射(proximal mapping)1 p r o x f \mathrm{prox}_f proxf定义为 p r o x f ( x ) = arg min u ∈ E { f ( u ) + 1 2 ∥ u − x ∥ 2 } , ∀ x ∈ E . \mathrm{prox}_f(\mathbf{x})=\arg\min_{\mathbf{u}\in\mathbb{E}}\left\{f(\mathbf{u})+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\},\quad\forall\mathbf{x}\in\mathbb{E}. proxf(x)=argu∈Emin{f(u)+21∥u−x∥2},∀x∈E.即映射 p r o x f \mathrm{prox}_f proxf将 x ∈ E \mathbf{x}\in\mathbb{E} x∈E映成 E \mathbb{E} E中的一个子集. 这个子集可能是空集, 可能是单点集, 也可能有多个向量. 下面我们用几个例子来说明这几种情况.
例1 考虑如下三个 R → R \mathbb{R}\to\mathbb{R} R→R的函数: g 1 ( x ) ≡ 0 , g 2 ( x ) = { 0 , x ≠ 0 , − λ , x = 0 , g 3 ( x ) = { 0 , x ≠ 0 , λ , x = 0 , \begin{aligned}g_1(x)&\equiv0,\\g_2(x)&=\left\{\begin{array}{ll}0, & x\ne0,\\-\lambda, & x=0,\end{array}\right.\\g_3(x)&=\left\{\begin{array}{ll}0, & x\ne0,\\\lambda, & x=0,\end{array}\right.\end{aligned} g1(x)g2(x)g3(x)≡0,={0,−λ,x=0,x=0,={0,λ,x=0,x=0,其中 λ > 0 \lambda>0 λ>0为一给定常数. 注意到 g 2 , g 3 g_2,g_3 g2,g3是不连续函数.
- g 1 g_1 g1的prox: p r o x g 1 ( x ) = arg min u ∈ R { g 1 ( u ) + 1 2 ( u − x ) 2 } = arg min u ∈ R { 1 2 ( u − x ) 2 } = { x } , \mathrm{prox}_{g_1}(x)=\arg\min_{u\in\mathbb{R}}\left\{g_1(u)+\frac{1}{2}(u-x)^2\right\}=\arg\min_{u\in\mathbb{R}}\left\{\frac{1}{2}(u-x)^2\right\}=\{x\}, proxg1(x)=argu∈Rmin{g1(u)+21(u−x)2}=argu∈Rmin{21(u−x)2}={x},即 g 1 g_1 g1的prox都是单点集;
- g 2 g_2 g2的prox: 记 p r o x g 2 ( x ) = arg min u ∈ R g ~ 2 ( u , x ) \mathrm{prox}_{g_2}(x)=\arg\min_{u\in\mathbb{R}}\tilde g_2(u,x) proxg2(x)=argminu∈Rg~2(u,x), 其中 g ~ 2 ( u , x ) ≡ g 2 ( u ) + 1 2 ( u − x ) 2 = { − λ + x 2 2 , u = 0 , 1 2 ( u − x ) 2 , u ≠ 0. \tilde g_2(u,x)\equiv g_2(u)+\frac{1}{2}(u-x)^2=\left\{\begin{array}{ll}-\lambda+\frac{x^2}{2}, & u=0,\\\frac{1}{2}(u-x)^2, & u\ne0.\end{array}\right. g~2(u,x)≡g2(u)+21(u−x)2={−λ+2x2,21(u−x)2,u=0,u=0.若 x ≠ 0 x\ne0 x=0, 则 1 2 ( u − x ) 2 \frac{1}{2}(u-x)^2 21(u−x)2在 R ∖ { 0 } \mathbb{R}\setminus\{0\} R∖{0}上的全局极小在 u = x ( ≠ 0 ) u=x(\ne0) u=x(=0)处取得, 且最小值为 0 0 0. 此时, 若 0 > − λ + x 2 2 0>-\lambda+\frac{x^2}{2} 0>−λ+2x2, 则 g ~ 2 ( ⋅ , x ) \tilde g_2(\cdot,x) g~2(⋅,x)在 R \mathbb{R} R上的唯一全局极小点是 u = 0 u=0 u=0; 若 0 < − λ + x 2 2 0<-\lambda+\frac{x^2}{2} 0<−λ+2x2, 则 g ~ 2 ( ⋅ , x ) \tilde g_2(\cdot,x) g~2(⋅,x)在 R \mathbb{R} R上的唯一全局极小点是 u = x u=x u=x; 若 0 = − λ + x 2 2 0=-\lambda+\frac{x^2}{2} 0=−λ+2x2, 则 0 , x 0,x 0,x都是 g ~ 2 ( ⋅ , x ) \tilde g_2(\cdot,x) g~2(⋅,x)在 R \mathbb{R} R上的全局极小点. 最后, 若 x = 0 x=0 x=0, 则显然 p r o x g 2 ( x ) = 0 \mathrm{prox}_{g_2}(x)=0 proxg2(x)=0. p r o x g 2 ( x ) = { { 0 } , ∣ x ∣ < 2 λ , { x } , ∣ x ∣ > 2 λ , { 0 , x } , ∣ x ∣ = 2 λ ; \mathrm{prox}_{g_2}(x)=\left\{\begin{array}{ll}\{0\}, & |x|<\sqrt{2\lambda},\\\{x\}, & |x|>\sqrt{2\lambda},\\\{0,x\}, & |x|=\sqrt{2\lambda};\end{array}\right. proxg2(x)=⎩⎨⎧{0},{x},{0,x},∣x∣<2λ,∣x∣>2λ,∣x∣=2λ;
- g 3 g_3 g3的prox: 计算 p r o x g 3 \mathrm{prox}_{g_3} proxg3的过程与 g 2 g_2 g2类似. 我们直接给出 p r o x g 3 ( x ) = { { x } , x ≠ 0 , ∅ , x = 0. \mathrm{prox}_{g_3}(x)=\left\{\begin{array}{ll}\{x\}, & x\ne0,\\\emptyset, & x=0.\end{array}\right. proxg3(x)={{x},∅,x=0,x=0.
下面的第一临近定理给出了函数的prox是单点集的充分条件: 若 f f f正常闭凸, 则 p r o x f ( x ) \mathrm{prox}_f(\mathbf{x}) proxf(x)必是单点集, 即prox存在且唯一. 尽管这仅是充分条件, 但也解释了上面 g 1 g_1 g1的prox为什么总是单点集. 反过来, 由于 p r o x g 2 , p r o x g 3 \mathrm{prox}_{g_2},\mathrm{prox}_{g_3} proxg2,proxg3不总是单点集, 所以 g 2 , g 3 g_2,g_3 g2,g3都不是正常闭凸函数.
定理1 (第一临近定理) 设 f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f:E→(−∞,∞]为一正常闭凸函数. 则对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, p r o x f ( x ) \mathrm{prox}_f(\mathbf{x}) proxf(x)都是单点集.
证明: 对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, p r o x f ( x ) = arg min u ∈ E f ~ ( u , x ) , \mathrm{prox}_f(\mathbf{x})=\arg\min_{\mathbf{u}\in\mathbb{E}}\tilde f(\mathbf{u,x}), proxf(x)=argu∈Eminf~(u,x),其中 f ~ ( u , x ) = f ( u ) + 1 2 ∥ u − x ∥ 2 \tilde f(\mathbf{u,x})=f(\mathbf{u})+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2 f~(u,x)=f(u)+21∥u−x∥2. 由于 1 2 ∥ ⋅ − x ∥ 2 \frac{1}{2}\Vert\cdot-\mathbf{x}\Vert^2 21∥⋅−x∥2是闭强凸函数, f f f是闭凸函数, 所以根据第五章的引理1与第二章的定理2的(ii), f ~ ( ⋅ , x ) \tilde f(\cdot,\mathbf{x}) f~(⋅,x)是闭强凸函数. 显然 f ( ⋅ , x ) f(\cdot,\mathbf{x}) f(⋅,x)也是正常函数. 因此根据第五章的定理7, f ~ ( ⋅ , x ) \tilde f(\cdot,\mathbf{x}) f~(⋅,x)在 E \mathbb{E} E上的全局极小点存在且唯一.
由于本章考虑的函数中绝大部分都是正常闭凸的, 所以我们将 p r o x f \mathrm{prox}_f proxf视作 E → E \mathbb{E}\to\mathbb{E} E→E的单值映射, 写作 p r o x f ( x ) = y \mathrm{prox}_f(\mathbf{x})=\mathbf{y} proxf(x)=y而不再写成 p r o x f ( x ) = { y } \mathrm{prox}_f(\mathbf{x})=\{\mathbf{y}\} proxf(x)={y}.
若我们放松第一临近定理中的条件, 仅要求函数是正常闭函数. 则我们仍可以在一定的强制性假设下证明 p r o x f ( x ) \mathrm{prox}_f(\mathbf{x}) proxf(x)必定不是空集.
定理2 (闭性与强制性下prox的非空性) 设 f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f:E→(−∞,∞]为一正常闭函数, 并且假设函数 u ↦ f ( u ) + 1 2 ∥ u − x ∥ 2 \mathbf{u}\mapsto f(\mathbf{u})+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2 u↦f(u)+21∥u−x∥2对任何 x ∈ E \mathbf{x}\in\mathbb{E} x∈E都是强制的. 则对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, p r o x f ( x ) ≠ ∅ \mathrm{prox}_f(\mathbf{x})\ne\emptyset proxf(x)=∅.
证明: 对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, h ( u ) ≡ f ( u ) + 1 2 ∥ u − x ∥ 2 h(\mathbf{u})\equiv f(\mathbf{u})+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2 h(u)≡f(u)+21∥u−x∥2为正常闭强制函数. 根据第二章定理5, h h h在 E \mathbb{E} E上可以取到最小值, 于是必有 p r o x f ( x ) \mathrm{prox}_f(\mathbf{x}) proxf(x)非空.
例1中的 g 2 , g 3 g_2,g_3 g2,g3都满足强制性假设, 但仅有 g 2 g_2 g2是闭函数. 因此相比于 p r o x g 2 ( x ) \mathrm{prox}_{g_2}(x) proxg2(x)从不为空, p r o x g 3 ( x ) \mathrm{prox}_{g_3}(x) proxg3(x)在某些特定的 x x x上为空也就不足为奇.
2. 临近映射的例子
本节讨论一些正常闭凸函数的临近映射. 由定理1可知, 它们都是单值映射.
2.1 常值函数
若 f ≡ c ∈ R f\equiv c\in\mathbb{R} f≡c∈R, 则 p r o x f ( x ) = arg min u ∈ E { c + 1 2 ∥ u − x ∥ 2 } = x . \mathrm{prox}_f(\mathbf{x})=\arg\min_{\mathbf{u}\in\mathbb{E}}\left\{c+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}=\mathbf{x}. proxf(x)=argu∈Emin{c+21∥u−x∥2}=x.因此, p r o x f ( x ) = x \boxed{\mathrm{prox}_f(\mathbf{x})=\mathbf{x}} proxf(x)=x是恒等映射.
2.2 仿射函数
设 f ( x ) = ⟨ a , x ⟩ + b f(\mathbf{x})=\langle\mathbf{a,x}\rangle+b f(x)=⟨a,x⟩+b, 其中 a ∈ E , b ∈ R \mathbf{a}\in\mathbb{E},\,b\in\mathbb{R} a∈E,b∈R. 则 p r o x f ( x ) = arg min u ∈ E { ⟨ a , u ⟩ + b + 1 2 ∥ u − x ∥ 2 } = arg min u ∈ E { ⟨ a , x ⟩ + b − 1 2 ∥ a ∥ 2 + 1 2 ∥ u − ( x − a ) ∥ 2 } = x − a . \begin{aligned}\mathrm{prox}_f(\mathbf{x})&=\arg\min_{\mathbf{u}\in\mathbb{E}}\left\{\langle\mathbf{a,u}\rangle+b+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}\\&=\arg\min_{\mathbf{u}\in\mathbb{E}}\left\{\langle\mathbf{a,x}\rangle+b-\frac{1}{2}\Vert\mathbf{a}\Vert^2+\frac{1}{2}\Vert\mathbf{u-(x-a)}\Vert^2\right\}\\&=\mathbf{x-a}.\end{aligned} proxf(x)=argu∈Emin{⟨a,u⟩+b+21∥u−x∥2}=argu∈Emin{⟨a,x⟩+b−21∥a∥2+21∥u−(x−a)∥2}=x−a.因此, p r o x f ( x ) = x − a \boxed{\mathrm{prox}_f(\mathbf{x})=\mathbf{x-a}} proxf(x)=x−a是平移变换.
2.3 凸二次函数
设 f : R n → R f:\mathbb{R}^n\to\mathbb{R} f:Rn→R定义为 f ( x ) = 1 2 x T A x + b T x + c f(\mathbf{x})=\frac{1}{2}\mathbf{x}^T\mathbf{Ax}+\mathbf{b}^T\mathbf{x}+c f(x)=21xTAx+bTx+c, 其中 A ∈ S + n , b ∈ R n , c ∈ R \mathbf{A}\in\mathbb{S}_+^n,\,\mathbf{b}\in\mathbb{R}^n,\,c\in\mathbb{R} A∈S+n,b∈Rn,c∈R. 于是 p r o x f ( x ) = arg min u ∈ E { 1 2 u T A u + b T u + c + 1 2 ∥ u − x ∥ 2 } . \mathrm{prox}_f(\mathbf{x})=\arg\min_{\mathbf{u}\in\mathbb{E}}\left\{\frac{1}{2}\mathbf{u}^T\mathbf{Au}+\mathbf{b}^T\mathbf{u}+c+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}. proxf(x)=argu∈Emin{21uTAu+bTu+c+21∥u−x∥2}.由于目标函数是严格凸的, 所以其最优解在梯度为 0 \mathbf{0} 0时取得: A u + b + u − x = 0 ⇒ ( A + I ) u = x − b . \mathbf{Au}+\mathbf{b}+\mathbf{u-x}=\mathbf{0}\Rightarrow (\mathbf{A+I})\mathbf{u}=\mathbf{x-b}. Au+b+u−x=0⇒(A+I)u=x−b.因此, p r o x f ( x ) = ( A + I ) − 1 ( x − b ) . \boxed{\mathrm{prox}_f(\mathbf{x})=(\mathbf{A+I})^{-1}(\mathbf{x-b}).} proxf(x)=(A+I)−1(x−b).
2.4 一维的例子
下面的引理包含了多个一维正常闭凸函数prox的计算结果. 它们在后面的推导中会起到重要作用.
引理1 g 1 ( x ) = { μ x , x ≥ 0 , ∞ , x < 0 , p r o x g 1 ( x ) = [ x − μ ] + , g 2 ( x ) = λ ∣ x ∣ , p r o x g 2 ( x ) = [ ∣ x ∣ − λ ] + s g n ( x ) , g 3 ( x ) = { λ x 3 , x ≥ 0 , ∞ , x < 0 , p r o x g 3 ( x ) = − 1 + 1 + 12 λ [ x ] + 6 λ , g 4 ( x ) = { − λ log x , x > 0 , ∞ , x ≤ 0 , p r o x g 4 ( x ) = x + x 2 + 4 λ 2 , g 5 = δ [ 0 , η ] ∩ R ( x ) , p r o x g 5 ( x ) = min { max { x , 0 } , η } , \begin{aligned}g_1(x)&=\left\{\begin{array}{ll}\mu x, & x\ge0,\\\infty, & x<0,\end{array}\right. &&\mathrm{prox}_{g_1}(x)=[x-\mu]_+,\\g_2(x)&=\lambda|x|, &&\mathrm{prox}_{g_2}(x)=[|x|-\lambda]_+\mathrm{sgn}(x),\\g_3(x)&=\left\{\begin{array}{ll}\lambda x^3, & x\ge0,\\\infty, & x<0,\end{array}\right. &&\mathrm{prox}_{g_3}(x)=\frac{-1+\sqrt{1+12\lambda[x]_+}}{6\lambda},\\g_4(x)&=\left\{\begin{array}{ll}-\lambda\log x, & x>0,\\\infty, & x\le0,\end{array}\right. &&\mathrm{prox}_{g_4}(x)=\frac{x+\sqrt{x^2+4\lambda}}{2},\\g_5&=\delta_{[0,\eta]\cap\mathbb{R}}(x), &&\mathrm{prox}_{g_5}(x)=\min\{\max\{x,0\},\eta\},\end{aligned} g1(x)g2(x)g3(x)g4(x)g5={μx,∞,x≥0,x<0,=λ∣x∣,={λx3,∞,x≥0,x<0,={−λlogx,∞,x>0,x≤0,=δ[0,η]∩R(x),proxg1(x)=[x−μ]+,proxg2(x)=[∣x∣−λ]+sgn(x),proxg3(x)=6λ−1+1+12λ[x]+,proxg4(x)=2x+x2+4λ,proxg5(x)=min{max{x,0},η},其中 λ ∈ R + + , η ∈ [ 0 , ∞ ] , μ ∈ R \lambda\in\mathbb{R}_{++},\,\eta\in[0,\infty],\,\mu\in\mathbb{R} λ∈R++,η∈[0,∞],μ∈R.
证明: 下面的证明将反复用到两件事:
(i) 若凸函数
f
f
f在一点
u
u
u处有
f
′
(
u
)
=
0
f'(u)=0
f′(u)=0, 则
u
u
u必定为其全局极小点;
(ii) 若凸函数的全局极小点存在且最优值不在可微点处取到, 则它必定在不可微点处取到.
- g 1 g_1 g1的prox: 由定义, p r o x g 1 ( x ) \mathrm{prox}_{g_1}(x) proxg1(x)为函数 f ( u ) = { ∞ , u < 0 , f 1 ( u ) , u ≥ 0 f(u)=\left\{\begin{array}{ll}\infty, & u<0,\\f_1(u), & u\ge0\end{array}\right. f(u)={∞,f1(u),u<0,u≥0的全局极小点, 其中 f 1 ( u ) = μ u + 1 2 ( u − x ) 2 f_1(u)=\mu u+\frac{1}{2}(u-x)^2 f1(u)=μu+21(u−x)2. 首先 f 1 ′ ( u ) = 0 f'_1(u)=0 f1′(u)=0当且仅当 u = x − μ u=x-\mu u=x−μ. 若 x > μ x>\mu x>μ, 则 f ′ ( x − μ ) = f 1 ′ ( x − μ ) = 0 f'(x-\mu)=f'_1(x-\mu)=0 f′(x−μ)=f1′(x−μ)=0, 从而 p r o x g 1 ( x ) = x − μ \mathrm{prox}_{g_1}(x)=x-\mu proxg1(x)=x−μ; 若 x ≤ μ x\le\mu x≤μ, 则 f f f的最优值必不在可微点处取到, 这时只能在 0 0 0处取到. 从而 p r o x g 1 ( x ) = [ x − μ ] + \mathrm{prox}_{g_1}(x)=[x-\mu]_+ proxg1(x)=[x−μ]+.
- g 2 g_2 g2的prox: p r o x g 2 ( x ) \mathrm{prox}_{g_2}(x) proxg2(x)为函数 h ( u ) = { h 1 ( u ) ≡ λ u + 1 2 ( u − x ) 2 , u > 0 , h 2 ( u ) ≡ − λ u + 1 2 ( u − x ) 2 , u ≤ 0 h(u)=\left\{\begin{array}{ll}h_1(u)\equiv\lambda u+\frac{1}{2}(u-x)^2, & u>0,\\h_2(u)\equiv-\lambda u+\frac{1}{2}(u-x)^2, & u\le0\end{array}\right. h(u)={h1(u)≡λu+21(u−x)2,h2(u)≡−λu+21(u−x)2,u>0,u≤0的全局极小点. 若 x > λ x>\lambda x>λ, 则令 u = x − λ u=x-\lambda u=x−λ, 0 = h 1 ′ ( u ) = λ + u − x 0=h_1'(u)=\lambda+u-x 0=h1′(u)=λ+u−x, 从而 p r o x g 2 ( x ) = x − λ \mathrm{prox}_{g_2}(x)=x-\lambda proxg2(x)=x−λ. 类似地, 若 x < − λ x<-\lambda x<−λ, 则 p r o x g 2 ( x ) = x + λ \mathrm{prox}_{g_2}(x)=x+\lambda proxg2(x)=x+λ. 若 ∣ x ∣ ≤ λ |x|\le\lambda ∣x∣≤λ, 则 p r o x g 2 ( x ) \mathrm{prox}_{g_2}(x) proxg2(x)必为 h h h的唯一不可微点 0 0 0.
- g 3 g_3 g3的prox: p r o x g 3 ( x ) \mathrm{prox}_{g_3}(x) proxg3(x)为函数 s ( u ) = { λ u 3 + 1 2 ( u − x ) 2 , u ≥ 0 , ∞ , u < 0 s(u)=\left\{\begin{array}{ll}\lambda u^3+\frac{1}{2}(u-x)^2, & u\ge0,\\\infty, & u<0\end{array}\right. s(u)={λu3+21(u−x)2,∞,u≥0,u<0的全局极小点. 若全局极小点为正, 则 u ~ = p r o x g 3 ( x ) \tilde u=\mathrm{prox}_{g_3}(x) u~=proxg3(x)满足 s ′ ( u ~ ) = 0 s'(\tilde u)=0 s′(u~)=0, 即 3 λ u ~ 2 + u ~ − x = 0. 3\lambda\tilde u^2+\tilde u-x=0. 3λu~2+u~−x=0.这一方程有正解当且仅当 x > 0 x>0 x>0, 且此时 p r o x g 3 ( x ) = u ~ = − 1 + 1 + 12 λ x 6 λ \mathrm{prox}_{g_3}(x)=\tilde u=\frac{-1+\sqrt{1+12\lambda x}}{6\lambda} proxg3(x)=u~=6λ−1+1+12λx; 若 x ≤ 0 x\le0 x≤0, 则 s s s的全局极小点只能是不可微点, 从而必是有效域中的 0 0 0.
- g 4 g_4 g4的prox: u ~ = p r o x g 4 ( x ) \tilde u=\mathrm{prox}_{g_4}(x) u~=proxg4(x)是函数 t ( u ) = − λ log u + 1 2 ( u − x ) 2 t(u)=-\lambda\log u+\frac{1}{2}(u-x)^2 t(u)=−λlogu+21(u−x)2的全局极小点. 令 t ( u ) t(u) t(u)的导数为 0 0 0, 即 − λ u ~ + ( u ~ − x ) = 0 ⇒ u ~ 2 − u ~ x − λ = 0. -\frac{\lambda}{\tilde u}+(\tilde u-x)=0\Rightarrow\tilde u^2-\tilde ux-\lambda=0. −u~λ+(u~−x)=0⇒u~2−u~x−λ=0.由于此方程恒有正解, 从而 u ~ \tilde u u~必在 R + + \mathbb{R}_{++} R++上取到, p r o x g 4 ( x ) = u ~ = x + x 2 + 4 λ 2 . \mathrm{prox}_{g_4}(x)=\tilde u=\frac{x+\sqrt{x^2+4\lambda}}{2}. proxg4(x)=u~=2x+x2+4λ.
- g 5 g_5 g5的prox: 首先假设 η < ∞ \eta<\infty η<∞. 注意此时 u ~ = p r o x g 5 ( x ) \tilde u=\mathrm{prox}_{g_5}(x) u~=proxg5(x)为函数 w ( u ) = 1 2 ( u − x ) 2 w(u)=\frac{1}{2}(u-x)^2 w(u)=21(u−x)2在 [ 0 , η ] [0,\eta] [0,η]上的全局极小点. 显然 w w w在 R \mathbb{R} R上的全局极小点是 u = x u=x u=x. 因此, 若 0 ≤ x ≤ η 0\le x\le\eta 0≤x≤η, 则 u ~ = x \tilde u=x u~=x; 若 x < 0 x<0 x<0, 由于 w w w在 [ 0 , η ] [0,\eta] [0,η]上单调递增, 所以 u ~ = 0 \tilde u=0 u~=0; 若 x > η x>\eta x>η, 由于 w w w在 [ 0 , η ] [0,\eta] [0,η]上单调递减, 所以 u ~ = η \tilde u=\eta u~=η. p r o x g 5 ( x ) = u ~ = { x , 0 ≤ x ≤ η , 0 , x < 0 , η , x > η , = min { max { x , 0 } , η } . \mathrm{prox}_{g_5}(x)=\tilde u=\left\{\begin{array}{ll}x, & 0\le x\le\eta,\\0, & x<0,\\\eta, & x>\eta,\end{array}\right.=\min\{\max\{x,0\},\eta\}. proxg5(x)=u~=⎩⎨⎧x,0,η,0≤x≤η,x<0,x>η,=min{max{x,0},η}.再考虑 η = ∞ \eta=\infty η=∞, 此时 g 5 ( x ) = δ [ 0 , ∞ ) ( x ) g_5(x)=\delta_{[0,\infty)}(x) g5(x)=δ[0,∞)(x)就是 μ = 0 \mu=0 μ=0的 g 1 g_1 g1. 所以 p r o x g 5 ( x ) = [ x ] + \mathrm{prox}_{g_5}(x)=[x]_+ proxg5(x)=[x]+. 这也可以写成 p r o x g 5 ( x ) = min { max { x , 0 } , ∞ } . \mathrm{prox}_{g_5}(x)=\min\{\max\{x,0\},\infty\}. proxg5(x)=min{max{x,0},∞}.
3. 临近运算法则
在本节, 我们给出一些关于计算临近映射的结果. 其中某些结果是不需要任何关于凸性或闭性的假设的.
定理3 (可分函数的prox) 设 f : E 1 × E 2 × ⋅ × E m → ( − ∞ , ∞ ] f:\mathbb{E}_1\times\mathbb{E}_2\times\cdot\times\mathbb{E}_m\to(-\infty,\infty] f:E1×E2×⋅×Em→(−∞,∞]定义为 f ( x 1 , x 2 , … , x m ) = ∑ i = 1 m f i ( x i ) , ∀ x i ∈ E i , i = 1 , 2 , … , m . f(\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_m)=\sum_{i=1}^mf_i(\mathbf{x}_i),\quad\forall\mathbf{x}_i\in\mathbb{E}_i,\,i=1,2,\ldots,m. f(x1,x2,…,xm)=i=1∑mfi(xi),∀xi∈Ei,i=1,2,…,m.则对 ∀ x 1 ∈ E 1 , x 2 ∈ E 2 , … , x m ∈ E m \forall\mathbf{x}_1\in\mathbb{E}_1,\mathbf{x}_2\in\mathbb{E}_2,\ldots,\mathbf{x}_m\in\mathbb{E}_m ∀x1∈E1,x2∈E2,…,xm∈Em, p r o x f ( x 1 , x 2 , … , x m ) = p r o x f 1 ( x 1 ) × p r o x f 2 ( x 2 ) × ⋯ × p r o x f m ( x m ) . \mathrm{prox}_f(\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_m)=\mathrm{prox}_{f_1}(\mathbf{x}_1)\times\mathrm{prox}_{f_2}(\mathbf{x}_2)\times\cdots\times\mathrm{prox}_{f_m}(\mathbf{x}_m). proxf(x1,x2,…,xm)=proxf1(x1)×proxf2(x2)×⋯×proxfm(xm).2
证明: p r o x f ( x 1 , x 2 , … , x m ) = arg min y 1 , y 2 , … , y m ∑ i = 1 m [ 1 2 ∥ y i − x i ∥ 2 + f i ( y i ) ] = ∏ i = 1 m arg min y i [ 1 2 ∥ y i − x i ∥ 2 + f i ( y i ) ] = ∏ i = 1 m p r o x f i ( x i ) . \begin{aligned}\mathrm{prox}_f(\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_m)&=\arg\min_{\mathbf{y}_1,\mathbf{y}_2,\ldots,\mathbf{y}_m}\sum_{i=1}^m\left[\frac{1}{2}\Vert\mathbf{y}_i-\mathbf{x}_i\Vert^2+f_i(\mathbf{y}_i)\right]\\&=\prod_{i=1}^m\arg\min_{\mathbf{y}_i}\left[\frac{1}{2}\Vert\mathbf{y}_i-\mathbf{x}_i\Vert^2+f_i(\mathbf{y}_i)\right]\\&=\prod_{i=1}^m\mathrm{prox}_{f_i}(\mathbf{x}_i).\end{aligned} proxf(x1,x2,…,xm)=argy1,y2,…,ymmini=1∑m[21∥yi−xi∥2+fi(yi)]=i=1∏margyimin[21∥yi−xi∥2+fi(yi)]=i=1∏mproxfi(xi).
例2 (
ℓ
1
\ell_1
ℓ1-范数的prox) 设
g
:
R
n
→
R
g:\mathbb{R}^n\to\mathbb{R}
g:Rn→R定义为
g
(
x
)
=
λ
∥
x
∥
1
g(\mathbf{x})=\lambda\Vert\mathbf{x}\Vert_1
g(x)=λ∥x∥1, 其中
λ
>
0
\lambda>0
λ>0. 则
g
(
x
)
=
∑
i
=
1
n
φ
(
x
i
)
,
g(\mathbf{x})=\sum_{i=1}^n\varphi(x_i),
g(x)=i=1∑nφ(xi),其中
φ
(
t
)
=
λ
∣
t
∣
\varphi(t)=\lambda|t|
φ(t)=λ∣t∣. 由引理1中的
p
r
o
x
g
2
\mathrm{prox}_{g_2}
proxg2, 就有
p
r
o
x
φ
(
s
)
=
T
λ
(
s
)
\mathrm{prox}_{\varphi}(s)=\mathcal{T}_{\lambda}(s)
proxφ(s)=Tλ(s), 其中
T
λ
\mathcal{T}_{\lambda}
Tλ定义为
T
λ
(
y
)
=
[
∣
y
∣
−
λ
]
+
s
g
n
(
y
)
=
{
y
−
λ
,
y
≥
λ
,
0
,
∣
y
∣
<
λ
,
y
+
λ
,
y
≤
−
λ
.
\mathcal{T}_{\lambda}(y)=[|y|-\lambda]_+\mathrm{sgn}(y)=\left\{\begin{array}{ll}y-\lambda, & y\ge\lambda,\\0, & |y|<\lambda,\\y+\lambda, & y\le-\lambda.\end{array}\right.
Tλ(y)=[∣y∣−λ]+sgn(y)=⎩⎨⎧y−λ,0,y+λ,y≥λ,∣y∣<λ,y≤−λ.函数
T
λ
\mathcal{T}_{\lambda}
Tλ被称作是软阈值函数(soft thresholding function), 其图像可见下图.
于是由定理3,
p
r
o
x
g
(
x
)
=
(
T
λ
(
x
j
)
)
j
=
1
n
\mathrm{prox}_g(\mathbf{x})=\left(\mathcal{T}_{\lambda}(x_j)\right)_{j=1}^n
proxg(x)=(Tλ(xj))j=1n. 为表述方便, 我们推广软阈值函数的定义, 使它成为
R
n
\mathbb{R}^n
Rn上的函数, 即对
∀
x
∈
R
n
\forall\mathbf{x}\in\mathbb{R}^n
∀x∈Rn,
T
λ
(
x
)
≡
(
T
λ
(
x
j
)
)
j
=
1
n
=
[
∣
x
∣
−
λ
e
]
+
⊙
s
g
n
(
x
)
.
\mathcal{T}_{\lambda}(\mathbf{x})\equiv\left(\mathcal{T}_{\lambda}(x_j)\right)_{j=1}^n=[|\mathbf{x}|-\lambda\mathbf{e}]_+\odot\mathrm{sgn}(\mathbf{x}).
Tλ(x)≡(Tλ(xj))j=1n=[∣x∣−λe]+⊙sgn(x).因此,
p
r
o
x
g
(
x
)
=
T
λ
(
x
)
.
\boxed{\mathrm{prox}_g(\mathbf{x})=\mathcal{T}_{\lambda}(\mathbf{x}).}
proxg(x)=Tλ(x).
例3 (负对数和的prox) 设 g : R n → ( − ∞ , ∞ ] g:\mathbb{R}^n\to(-\infty,\infty] g:Rn→(−∞,∞]定义为 g ( x ) = { − λ ∑ k = 1 n log x j , x > 0 , ∞ , 其 它 , g(\mathbf{x})=\left\{\begin{array}{ll}-\lambda\sum_{k=1}^n\log x_j, & \mathbf{x}>\mathbf{0},\\\infty, & 其它,\end{array}\right. g(x)={−λ∑k=1nlogxj,∞,x>0,其它,其中 λ > 0 \lambda>0 λ>0. 于是 g ( x ) = ∑ i = 1 n φ ( x i ) g(\mathbf{x})=\sum_{i=1}^n\varphi(x_i) g(x)=∑i=1nφ(xi), 其中 φ ( t ) = { − λ log t , t > 0 , ∞ , t < 0. \varphi(t)=\left\{\begin{array}{ll}-\lambda\log t, & t>0,\\\infty, & t<0.\end{array}\right. φ(t)={−λlogt,∞,t>0,t<0.由引理1中的 p r o x g 4 \mathrm{prox}_{g_4} proxg4, 就有 p r o x φ ( s ) = s + s 2 + 4 λ 2 . \mathrm{prox}_{\varphi}(s)=\frac{s+\sqrt{s^2+4\lambda}}{2}. proxφ(s)=2s+s2+4λ.最后, 由定理3, p r o x g ( x ) = ( p r o x φ ( x j ) ) j = 1 n = ( x j + x j 2 + 4 λ 2 ) j = 1 n . \boxed{\mathrm{prox}_g(\mathbf{x})=\left(\mathrm{prox}_{\varphi}(x_j)\right)_{j=1}^n=\left(\frac{x_j+\sqrt{x_j^2+4\lambda}}{2}\right)_{j=1}^n.} proxg(x)=(proxφ(xj))j=1n=⎝⎛2xj+xj2+4λ⎠⎞j=1n.
例4 ( ℓ 0 \ell_0 ℓ0-范数的prox) 设 f : R n → R f:\mathbb{R}^n\to\mathbb{R} f:Rn→R定义为 f ( x ) = λ ∥ x ∥ 0 f(\mathbf{x})=\lambda\Vert\mathbf{x}\Vert_0 f(x)=λ∥x∥0, 其中 λ > 0 , ∥ x ∥ 0 = # { i : x i ≠ 0 } \lambda>0,\,\Vert\mathbf{x}\Vert_0=\#\{i:x_i\ne0\} λ>0,∥x∥0=#{i:xi=0}. 于是对 ∀ x ∈ R n \forall\mathbf{x}\in\mathbb{R}^n ∀x∈Rn, f ( x ) = ∑ i = 1 n I ( x i ) , f(\mathbf{x})=\sum_{i=1}^nI(x_i), f(x)=i=1∑nI(xi),其中 I ( t ) = { λ , t ≠ 0 , 0 , t = 0. I(t)=\left\{\begin{array}{ll}\lambda, & t\ne0,\\0, & t=0.\end{array}\right. I(t)={λ,0,t=0,t=0.注意到 I ( ⋅ ) = J ( ⋅ ) + λ I(\cdot)=J(\cdot)+\lambda I(⋅)=J(⋅)+λ, 其中 J ( t ) = { 0 , t ≠ 0 , − λ , t = 0 , J(t)=\left\{\begin{array}{ll}0, & t\ne0,\\-\lambda, & t=0,\end{array}\right. J(t)={0,−λ,t=0,t=0,而由例1中的 p r o x g 2 \mathrm{prox}_{g_2} proxg2, p r o x J ( s ) = { { 0 } , ∣ s ∣ < 2 λ , { s } , ∣ s ∣ > 2 λ , { 0 , s } , ∣ s ∣ = 2 λ . \mathrm{prox}_J(s)=\left\{\begin{array}{ll}\{0\}, & |s|<\sqrt{2\lambda},\\\{s\}, & |s|>\sqrt{2\lambda},\\\{0,s\}, & |s|=\sqrt{2\lambda}.\end{array}\right. proxJ(s)=⎩⎨⎧{0},{s},{0,s},∣s∣<2λ,∣s∣>2λ,∣s∣=2λ.我们引入硬阈值映射 H α \mathcal{H}_{\alpha} Hα, 它的定义是 H α ( s ) ≡ { { 0 } , ∣ s ∣ < α , { s } , ∣ s ∣ > α , { 0 , s } , ∣ s ∣ = α . \mathcal{H}_{\alpha}(s)\equiv\left\{\begin{array}{ll}\{0\}, & |s|<\alpha,\\\{s\}, & |s|>\alpha,\\\{0,s\}, & |s|=\alpha.\end{array}\right. Hα(s)≡⎩⎨⎧{0},{s},{0,s},∣s∣<α,∣s∣>α,∣s∣=α.因此, p r o x J ( s ) = H 2 λ ( s ) \mathrm{prox}_J(s)=\mathcal{H}_{\sqrt{2\lambda}}(s) proxJ(s)=H2λ(s). 易验证 p r o x I = p r o x J \mathrm{prox}_I=\mathrm{prox}_J proxI=proxJ. 于是由定理3, p r o x g ( x ) = H 2 λ ( x 1 ) × H 2 λ ( x 2 ) × ⋯ × H 2 λ ( x n ) . \boxed{\mathrm{prox}_g(\mathbf{x})=\mathcal{H}_{\sqrt{2\lambda}}(x_1)\times\mathcal{H}_{\sqrt{2\lambda}}(x_2)\times\cdots\times\mathcal{H}_{\sqrt{2\lambda}}(x_n).} proxg(x)=H2λ(x1)×H2λ(x2)×⋯×H2λ(xn).
定理4 (伸缩与平移变换后的prox) 设 g : E → ( − ∞ , ∞ ] g:\mathbb{E}\to(-\infty,\infty] g:E→(−∞,∞]为一正常函数, λ ≠ 0 , a ∈ E \lambda\ne0,\,\mathbf{a}\in\mathbb{E} λ=0,a∈E. 定义 f ( x ) = g ( λ x + a ) f(\mathbf{x})=g(\lambda\mathbf{x+a}) f(x)=g(λx+a). 则 p r o x f ( x ) = 1 λ [ p r o x λ 2 g ( λ x + a ) − a ] . \mathrm{prox}_f(\mathbf{x})=\frac{1}{\lambda}\left[\mathrm{prox}_{\lambda^2g}(\lambda\mathbf{x+a})-\mathbf{a}\right]. proxf(x)=λ1[proxλ2g(λx+a)−a].
证明: p r o x f ( x ) = arg min u { f ( u ) + 1 2 ∥ u − x ∥ 2 } = arg min u { g ( λ u + a ) + 1 2 ∥ u − x ∥ 2 } = z = λ u + a 1 λ [ arg min z { g ( z ) + 1 2 ∥ 1 λ ( z − a ) − x ∥ 2 } − a ] = 1 λ [ arg min z { λ 2 g ( z ) + 1 2 ∥ z − ( λ x + a ) ∥ 2 } − a ] = 1 λ [ p r o x λ 2 g ( λ x + a ) − a ] . \begin{aligned}\mathrm{prox}_f(\mathbf{x})&=\arg\min_{\mathbf{u}}\left\{f(\mathbf{u})+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}\\&=\arg\min_{\mathbf{u}}\left\{g(\lambda\mathbf{u+a})+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}\\&\overset{\mathbf{z}=\lambda\mathbf{u+a}}{=}\frac{1}{\lambda}\left[\arg\min_{\mathbf{z}}\left\{g(\mathbf{z})+\frac{1}{2}\left\Vert\frac{1}{\lambda}(\mathbf{z-a})-\mathbf{x}\right\Vert^2\right\}-\mathbf{a}\right]\\&=\frac{1}{\lambda}\left[\arg\min_{\mathbf{z}}\left\{\lambda^2g(\mathbf{z})+\frac{1}{2}\Vert\mathbf{z}-(\lambda\mathbf{x+a})\Vert^2\right\}-\mathbf{a}\right]\\&=\frac{1}{\lambda}\left[\mathrm{prox}_{\lambda^2g}(\lambda\mathbf{x+a})-\mathbf{a}\right].\end{aligned} proxf(x)=argumin{f(u)+21∥u−x∥2}=argumin{g(λu+a)+21∥u−x∥2}=z=λu+aλ1[argzmin{g(z)+21∥∥∥∥λ1(z−a)−x∥∥∥∥2}−a]=λ1[argzmin{λ2g(z)+21∥z−(λx+a)∥2}−a]=λ1[proxλ2g(λx+a)−a].
定理5 ( λ g ( ⋅ / λ ) \lambda g(\cdot/\lambda) λg(⋅/λ)的prox) 设 g : E → ( − ∞ , ∞ ] g:\mathbb{E}\to(-\infty,\infty] g:E→(−∞,∞]为一正常函数, λ ≠ 0 \lambda\ne0 λ=0. 定义 f ( x ) = λ g ( x / λ ) f(\mathbf{x})=\lambda g(\mathbf{x}/\lambda) f(x)=λg(x/λ). 则 p r o x f ( x ) = λ p r o x g / λ ( x / λ ) . \mathrm{prox}_f(\mathbf{x})=\lambda\mathrm{prox}_{g/\lambda}(\mathbf{x}/\lambda). proxf(x)=λproxg/λ(x/λ).
证明: p r o x f ( x ) = arg min u { λ g ( u λ ) + 1 2 ∥ u − x ∥ 2 } = z = u / λ λ arg min z { λ g ( z ) + 1 2 ∥ λ z − x ∥ 2 } = λ arg min z { g ( z ) λ + 1 2 ∥ z − x λ ∥ 2 } = λ p r o x g / λ ( x / λ ) . \begin{aligned}\mathrm{prox}_f(\mathbf{x})&=\arg\min_{\mathbf{u}}\left\{\lambda g\left(\frac{\mathbf{u}}{\lambda}\right)+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}\\&\overset{\mathbf{z}=\mathbf{u}/\lambda}{=}\lambda\arg\min_{\mathbf{z}}\left\{\lambda g(\mathbf{z})+\frac{1}{2}\Vert\lambda\mathbf{z-x}\Vert^2\right\}\\&=\lambda\arg\min_{\mathbf{z}}\left\{\frac{g(\mathbf{z})}{\lambda}+\frac{1}{2}\left\Vert\mathbf{z-\frac{x}{\lambda}}\right\Vert^2\right\}\\&=\lambda\mathrm{prox}_{g/\lambda}(\mathbf{x}/\lambda).\end{aligned} proxf(x)=argumin{λg(λu)+21∥u−x∥2}=z=u/λλargzmin{λg(z)+21∥λz−x∥2}=λargzmin{λg(z)+21∥∥∥z−λx∥∥∥2}=λproxg/λ(x/λ).
定理6 (二次扰动下的prox) 设 g : E → ( − ∞ , ∞ ] g:\mathbb{E}\to(-\infty,\infty] g:E→(−∞,∞]为一正常函数, f ( x ) = g ( x ) + c 2 ∥ x ∥ 2 + ⟨ a , x ⟩ + γ f(\mathbf{x})=g(\mathbf{x})+\frac{c}{2}\Vert\mathbf{x}\Vert^2+\langle\mathbf{a,x}\rangle+\gamma f(x)=g(x)+2c∥x∥2+⟨a,x⟩+γ, 其中 c > 0 , a ∈ E , γ ∈ R c>0,\,\mathbf{a}\in\mathbb{E},\,\gamma\in\mathbb{R} c>0,a∈E,γ∈R. 则 p r o x f ( x ) = p r o x 1 c + 1 g ( x − a c + 1 ) . \mathrm{prox}_f(\mathbf{x})=\mathrm{prox}_{\frac{1}{c+1}g}\left(\frac{\mathbf{x-a}}{c+1}\right). proxf(x)=proxc+11g(c+1x−a).
证明: p r o x f ( x ) = arg min u { f ( u ) + 1 2 ∥ u − x ∥ 2 } = arg min u { g ( u ) + c 2 ∥ u ∥ 2 + ⟨ a , u ⟩ + γ + 1 2 ∥ u − x ∥ 2 } = arg min u { g ( u ) + c + 1 2 ∥ u − ( x − a c + 1 ) ∥ 2 } = p r o x 1 c + 1 g ( x − a c + 1 ) . \begin{aligned}\mathrm{prox}_f(\mathbf{x})&=\arg\min_{\mathbf{u}}\left\{f(\mathbf{u})+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}\\&=\arg\min_{\mathbf{u}}\left\{g(\mathbf{u})+\frac{c}{2}\Vert\mathbf{u}\Vert^2+\langle\mathbf{a,u}\rangle+\gamma+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}\\&=\arg\min_{\mathbf{u}}\left\{g(\mathbf{u})+\frac{c+1}{2}\left\Vert\mathbf{u}-\left(\frac{\mathbf{x-a}}{c+1}\right)\right\Vert^2\right\}\\&=\mathrm{prox}_{\frac{1}{c+1}g}\left(\frac{\mathbf{x-a}}{c+1}\right).\end{aligned} proxf(x)=argumin{f(u)+21∥u−x∥2}=argumin{g(u)+2c∥u∥2+⟨a,u⟩+γ+21∥u−x∥2}=argumin{g(u)+2c+1∥∥∥∥u−(c+1x−a)∥∥∥∥2}=proxc+11g(c+1x−a).
例5 考虑函数 f : R → ( − ∞ , ∞ ] f:\mathbb{R}\to(-\infty,\infty] f:R→(−∞,∞]定义为, 对 ∀ x ∈ R \forall x\in\mathbb{R} ∀x∈R, f ( x ) = { μ x , 0 ≤ x ≤ α , ∞ , 其 它 , f(x)=\left\{\begin{array}{ll}\mu x, & 0\le x\le\alpha,\\\infty, & 其它,\end{array}\right. f(x)={μx,∞,0≤x≤α,其它,其中 μ ∈ R , α ∈ [ 0 , ∞ ] \mu\in\mathbb{R},\,\alpha\in[0,\infty] μ∈R,α∈[0,∞]. 首先注意到 f f f可以表示成 f ( x ) = δ [ 0 , α ] ∩ R ( x ) + μ x . f(x)=\delta_{[0,\alpha]\cap\mathbb{R}}(x)+\mu x. f(x)=δ[0,α]∩R(x)+μx.由引理1的 p r o x g 5 \mathrm{prox}_{g_5} proxg5, p r o x δ [ 0 , α ] ∩ R ( x ) = min { max { x , 0 } , α } \mathrm{prox}_{\delta_{[0,\alpha]\cap\mathbb{R}}}(x)=\min\{\max\{x,0\},\alpha\} proxδ[0,α]∩R(x)=min{max{x,0},α}. 再利用定理6(令 c = 0 , a = μ , γ = 0 c=0,\,\mathbf{a}=\mu,\,\gamma=0 c=0,a=μ,γ=0), 我们就有对 ∀ x ∈ R \forall x\in\mathbb{R} ∀x∈R, p r o x f ( x ) = p r o x g ( x − μ ) = min { max { x − μ , 0 } , α } . \boxed{\mathrm{prox}_f(x)=\mathrm{prox}_g(x-\mu)=\min\{\max\{x-\mu,0\},\alpha\}.} proxf(x)=proxg(x−μ)=min{max{x−μ,0},α}.
遗憾的是, 至今仍未有一个函数与一个一般仿射映射的复合函数的prox公式. 但若相应的线性变换满足一定的正交性条件, 情况就不一样了.
定理7 (与仿射映射复合的prox) 设 g : R m → ( − ∞ , ∞ ] g:\mathbb{R}^m\to(-\infty,\infty] g:Rm→(−∞,∞]为一正常闭凸函数, f ( x ) = g ( A ( x ) + b ) f(\mathbf{x})=g(\mathcal{A}(\mathbf{x})+\mathbf{b}) f(x)=g(A(x)+b), 其中 b ∈ R m \mathbf{b}\in\mathbb{R}^m b∈Rm, A : V → R m \mathcal{A}:\mathbb{V}\to\mathbb{R}^m A:V→Rm为对某个常量 α > 0 \alpha>0 α>0满足 A ∘ A T = α I \mathcal{A}\circ\mathcal{A}^T=\alpha\mathcal{I} A∘AT=αI的线性变换. 则对 ∀ x ∈ V \forall\mathbf{x}\in\mathbb{V} ∀x∈V, p r o x f ( x ) = x + 1 α A T ( p r o x α g ( A ( x ) + b ) − A ( x ) − b ) . \mathrm{prox}_f(\mathbf{x})=\mathbf{x}+\frac{1}{\alpha}\mathcal{A}^T\left(\mathrm{prox}_{\alpha g}(\mathcal{A}(\mathbf{x})+\mathbf{b})-\mathcal{A}(\mathbf{x})-\mathbf{b}\right). proxf(x)=x+α1AT(proxαg(A(x)+b)−A(x)−b).
证明: 由定义, p r o x f ( x ) \mathrm{prox}_f(\mathbf{x}) proxf(x)为以下问题的最优解: min u ∈ V { g ( A ( u ) + b ) + 1 2 ∥ u − x ∥ 2 } . \min_{\mathbf{u}\in\mathbb{V}}\left\{g(\mathcal{A}(\mathbf{u})+\mathbf{b})+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}. u∈Vmin{g(A(u)+b)+21∥u−x∥2}.引入分裂变量 z \mathbf{z} z后, 此问题又等价于如下的约束优化问题: min u ∈ V , z ∈ R m g ( z ) + 1 2 ∥ u − x ∥ 2 s . t . z = A ( u ) + b . \begin{array}{ll}\min_{\mathbf{u}\in\mathbb{V},\mathbf{z}\in\mathbb{R}^m} & g(\mathbf{z})+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\\\mathrm{s.t.} & \mathbf{z}=\mathcal{A}(\mathbf{u})+\mathbf{b}.\end{array} minu∈V,z∈Rms.t.g(z)+21∥u−x∥2z=A(u)+b.令 ( z ~ , u ~ ) (\tilde\mathbf{z},\tilde\mathbf{u}) (z~,u~)为其最优解3. 注意到 u ~ = p r o x f ( x ) \tilde\mathbf{u}=\mathrm{prox}_f(\mathbf{x}) u~=proxf(x). 固定 z = z ~ \mathbf{z}=\tilde\mathbf{z} z=z~. 于是 u ~ \tilde\mathbf{u} u~是问题 min u ∈ V 1 2 ∥ u − x ∥ 2 s . t . A ( u ) = z ~ − b \begin{array}{ll}\min_{\mathbf{u}\in\mathbb{V}} & \frac{1}{2}\Vert\mathbf{u-x}\Vert^2\\\mathrm{s.t.} & \mathcal{A}(\mathbf{u})=\tilde\mathbf{z}-\mathbf{b}\end{array} minu∈Vs.t.21∥u−x∥2A(u)=z~−b的最优解. 因为此问题满足强对偶性(见第三章的介绍), 于是有其最优性条件: 存在 y ∈ R m \mathbf{y}\in\mathbb{R}^m y∈Rm使得 u ~ ∈ arg min u ∈ V { 1 2 ∥ u − x ∥ 2 + ⟨ y , A ( u ) − z ~ + b ⟩ } , A ( u ~ ) = z ~ − b . \begin{aligned}\tilde\mathbf{u}&\in\arg\min_{\mathbf{u}\in\mathbb{V}}\left\{\frac{1}{2}\Vert\mathbf{u-x}\Vert^2+\langle\mathbf{y},\mathcal{A}(\mathbf{u})-\tilde\mathbf{z}+\mathbf{b}\rangle\right\},\\\mathcal{A}(\tilde\mathbf{u})&=\tilde\mathbf{z}-\mathbf{b}.\end{aligned} u~A(u~)∈argu∈Vmin{21∥u−x∥2+⟨y,A(u)−z~+b⟩},=z~−b.根据第一个式子, u ~ = x − A T ( y ) . \tilde\mathbf{u}=\mathbf{x}-\mathcal{A}^T(\mathbf{y}). u~=x−AT(y).再将此代入第二个式子, A ( x − A T ( y ) ) = z ~ − b . \mathcal{A}\left(\mathbf{x}-\mathcal{A}^T(\mathbf{y})\right)=\tilde\mathbf{z}-\mathbf{b}. A(x−AT(y))=z~−b.利用 A \mathcal{A} A的正交性条件推出 α y = A ( x ) + b − z ~ , \alpha\mathbf{y}=\mathcal{A}(\mathbf{x})+\mathbf{b}-\tilde\mathbf{z}, αy=A(x)+b−z~,于是 u ~ = x + 1 α A T ( z ~ − A ( x ) − b ) . \tilde\mathbf{u}=\mathbf{x}+\frac{1}{\alpha}\mathcal{A}^T(\tilde\mathbf{z}-\mathcal{A}(\mathbf{x})-\mathbf{b}). u~=x+α1AT(z~−A(x)−b).这就得到了 u ~ \tilde\mathbf{u} u~关于 z ~ \tilde\mathbf{z} z~的表达式. 这就起到了消元的作用. 此时 z ~ \tilde\mathbf{z} z~就是 z ~ = arg min z ∈ R m { g ( z ) + 1 2 ∥ x + 1 α A T ( z − A ( x ) − b ) − x ∥ 2 } = arg min z ∈ R m { g ( z ) + 1 2 α 2 ∥ A T ( z − A ( x ) − b ) ∥ 2 } = arg min z ∈ R m { α g ( z ) + 1 2 ∥ z − A ( x ) − b ∥ 2 } = p r o x α g ( A ( x ) + b ) . \begin{aligned}\tilde\mathbf{z}&=\arg\min_{\mathbf{z}\in\mathbb{R}^m}\left\{g(\mathbf{z})+\frac{1}{2}\left\Vert\mathbf{x}+\frac{1}{\alpha}\mathcal{A}^T(\mathbf{z}-\mathcal{A}(\mathbf{x})-\mathbf{b})-\mathbf{x}\right\Vert^2\right\}\\&=\arg\min_{\mathbf{z}\in\mathbb{R}^m}\left\{g(\mathbf{z})+\frac{1}{2\alpha^2}\left\Vert\mathcal{A}^T(\mathbf{z}-\mathcal{A}(\mathbf{x})-\mathbf{b})\right\Vert^2\right\}\\&=\arg\min_{\mathbf{z}\in\mathbb{R}^m}\left\{\alpha g(\mathbf{z})+\frac{1}{2}\left\Vert\mathbf{z}-\mathcal{A}(\mathbf{x})-\mathbf{b}\right\Vert^2\right\}\\&=\mathrm{prox}_{\alpha g}\left(\mathcal{A}(\mathbf{x})+\mathbf{b}\right).\end{aligned} z~=argz∈Rmmin{g(z)+21∥∥∥∥x+α1AT(z−A(x)−b)−x∥∥∥∥2}=argz∈Rmmin{g(z)+2α21∥∥AT(z−A(x)−b)∥∥2}=argz∈Rmmin{αg(z)+21∥z−A(x)−b∥2}=proxαg(A(x)+b).最后把 z ~ \tilde\mathbf{z} z~关于 x \mathbf{x} x的表达式代入 u ~ \tilde\mathbf{u} u~关于 z ~ \tilde\mathbf{z} z~的表达式即得证.
例6 设 g : E → ( − ∞ , ∞ ] g:\mathbb{E}\to(-\infty,\infty] g:E→(−∞,∞]为正常闭凸函数, 其中 E = R d \mathbb{E}=\mathbb{R}^d E=Rd; f : E m → ( − ∞ , ∞ ] f:\mathbb{E}^m\to(-\infty,\infty] f:Em→(−∞,∞]定义为 f ( x 1 , x 2 , … , x m ) = g ( x 1 + x 2 + ⋯ + x m ) . f(\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_m)=g(\mathbf{x}_1+\mathbf{x}_2+\cdots+\mathbf{x}_m). f(x1,x2,…,xm)=g(x1+x2+⋯+xm).利用复合运算, f f f可以写成函数复合的形式: f ( x 1 , x 2 , … , x m ) = g ( A ( x 1 , x 2 , … , x m ) ) f(\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_m)=g(\mathcal{A}(\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_m)) f(x1,x2,…,xm)=g(A(x1,x2,…,xm)), 其中 A : E m → E \mathcal{A}:\mathbb{E}^m\to\mathbb{E} A:Em→E是线性变换 A ( x 1 , x 2 , … , x m ) = x 1 + x 2 + ⋯ + x m . \mathcal{A}(\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_m)=\mathbf{x}_1+\mathbf{x}_2+\cdots+\mathbf{x}_m. A(x1,x2,…,xm)=x1+x2+⋯+xm.于是 A \mathcal{A} A的伴随变换 A T : E → E m \mathcal{A}^T:\mathbb{E}\to\mathbb{E}^m AT:E→Em为 A T ( x ) = ( x , x , … , x ) , \mathcal{A}^T(\mathbf{x})=(\mathbf{x},\mathbf{x},\ldots,\mathbf{x}), AT(x)=(x,x,…,x),于是对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, A ( A T ( x ) ) = m x . \mathcal{A}(\mathcal{A}^T(\mathbf{x}))=m\mathbf{x}. A(AT(x))=mx.因此, 在定理7中令 α = m , b = 0 \alpha=m,\,\mathbf{b}=\mathbf{0} α=m,b=0, 对 ∀ ( x 1 , x 2 , … , x m ) ∈ E m \forall(\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_m)\in\mathbb{E}^m ∀(x1,x2,…,xm)∈Em, p r o x f ( x 1 , x 2 , … , x m ) j = x j + 1 m ( p r o x m g ( ∑ i = 1 m x i ) − ∑ i = 1 m x i ) , j = 1 , 2 , … , m . \boxed{\mathrm{prox}_f(\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_m)_j=\mathbf{x}_j+\frac{1}{m}\left(\mathrm{prox}_{mg}\left(\sum_{i=1}^m\mathbf{x}_i\right)-\sum_{i=1}^m\mathbf{x}_i\right),\quad j=1,2,\ldots,m.} proxf(x1,x2,…,xm)j=xj+m1(proxmg(i=1∑mxi)−i=1∑mxi),j=1,2,…,m.
例7 设 f : R n → E f:\mathbb{R}^n\to\mathbb{E} f:Rn→E定义为 f ( x ) = ∣ a T x ∣ f(\mathbf{x})=|\mathbf{a}^T\mathbf{x}| f(x)=∣aTx∣, 其中 a ∈ R n ∖ { 0 } \mathbf{a}\in\mathbb{R}^n\setminus\{\mathbf{0}\} a∈Rn∖{0}. 利用复合运算, 我们可以将 f f f写成 f ( x ) = g ( a T x ) f(\mathbf{x})=g(\mathbf{a}^T\mathbf{x}) f(x)=g(aTx), 其中 g ( t ) = ∣ t ∣ g(t)=|t| g(t)=∣t∣. 由引理1中的 p r o x g 2 \mathrm{prox}_{g_2} proxg2, p r o x λ g = T λ \mathrm{prox}_{\lambda g}=\mathcal{T}_{\lambda} proxλg=Tλ, 其中 T λ ( x ) = [ ∣ x ∣ − λ ] + s g n ( x ) \mathcal{T}_{\lambda}(x)=[|x|-\lambda]_+\mathrm{sgn}(x) Tλ(x)=[∣x∣−λ]+sgn(x)为软阈值函数. 在定理7中令 α = ∥ a ∥ 2 , b = 0 \alpha=\Vert\mathbf{a}\Vert^2,\,\mathbf{b}=\mathbf{0} α=∥a∥2,b=0, A : x ↦ a T x \mathcal{A}:\mathbf{x}\mapsto\mathbf{a}^T\mathbf{x} A:x↦aTx, 就有 p r o x f ( x ) = x + 1 ∥ a ∥ 2 ( T ∥ a ∥ 2 ( a T x ) ) − a T x ) a . \boxed{\mathrm{prox}_f(\mathbf{x})=\mathbf{x}+\frac{1}{\Vert\mathbf{a}\Vert^2}\left(\mathcal{T}_{\Vert\mathbf{a}\Vert^2}\left(\mathbf{a}^T\mathbf{x})\right)-\mathbf{a}^T\mathbf{x}\right)\mathbf{a}.} proxf(x)=x+∥a∥21(T∥a∥2(aTx))−aTx)a.
定理8 (范数复合) 设 f : E → R f:\mathbb{E}\to\mathbb{R} f:E→R定义为 f ( x ) = g ( ∥ x ∥ ) f(\mathbf{x})=g(\Vert\mathbf{x}\Vert) f(x)=g(∥x∥), 其中 g : R → ( − ∞ , ∞ ] g:\mathbb{R}\to(-\infty,\infty] g:R→(−∞,∞]为正常闭凸函数, 满足 d o m ( g ) ⊂ [ 0 , ∞ ) \mathrm{dom}(g)\subset[0,\infty) dom(g)⊂[0,∞). 于是 p r o x f ( x ) = { p r o x g ( ∥ x ∥ ) x ∥ x ∥ , x ≠ 0 , { u ∈ E : ∥ u ∥ = p r o x g ( 0 ) } , x = 0 . \mathrm{prox}_f(\mathbf{x})=\left\{\begin{array}{ll}\mathrm{prox}_g(\Vert\mathbf{x}\Vert)\frac{\mathbf{x}}{\Vert\mathbf{x}\Vert}, & \mathbf{x\ne0},\\\{\mathbf{u}\in\mathbb{E}:\Vert\mathbf{u}\Vert=\mathrm{prox}_g(0)\}, & \mathbf{x=0}.\end{array}\right. proxf(x)={proxg(∥x∥)∥x∥x,{u∈E:∥u∥=proxg(0)},x=0,x=0.
证明: 由定义, p r o x f ( 0 ) \mathrm{prox}_f(\mathbf{0}) proxf(0)是以下问题的全局极小点: min u ∈ E { f ( u ) + 1 2 ∥ u ∥ 2 } = min u ∈ E { g ( ∥ u ∥ ) + 1 2 ∥ u ∥ 2 } . \min_{\mathbf{u}\in\mathbb{E}}\left\{f(\mathbf{u})+\frac{1}{2}\Vert\mathbf{u}\Vert^2\right\}=\min_{\mathbf{u}\in\mathbb{E}}\left\{g(\Vert\mathbf{u}\Vert)+\frac{1}{2}\Vert\mathbf{u}\Vert^2\right\}. u∈Emin{f(u)+21∥u∥2}=u∈Emin{g(∥u∥)+21∥u∥2}.作变量替换 w = ∥ u ∥ w=\Vert\mathbf{u}\Vert w=∥u∥, 则问题变为等价的4 min w ∈ R { g ( w ) + 1 2 w 2 } . \min_{w\in\mathbb{R}}\left\{g(w)+\frac{1}{2}w^2\right\}. w∈Rmin{g(w)+21w2}.此问题最优解为 p r o x g ( 0 ) \mathrm{prox}_g(0) proxg(0) 5, 因此 p r o x f ( 0 ) \mathrm{prox}_f(\mathbf{0}) proxf(0)就是所有满足 ∥ u ∥ = p r o x g ( 0 ) \Vert\mathbf{u}\Vert=\mathrm{prox}_g(0) ∥u∥=proxg(0)的 u \mathbf{u} u. 下面考虑 x ≠ 0 \mathbf{x\ne0} x=0的情形. min u ∈ E { g ( ∥ u ∥ ) + 1 2 ∥ u − x ∥ 2 } = min u ∈ E { g ( ∥ u ∥ ) + 1 2 ∥ u ∥ 2 − ⟨ u , x ⟩ + 1 2 ∥ x ∥ 2 } = min α ∈ R + min u ∈ E : ∥ u ∥ = α { g ( α ) + 1 2 α 2 − ⟨ u , x ⟩ + 1 2 ∥ x ∥ 2 } . \begin{aligned}\min_{\mathbf{u}\in\mathbb{E}}\left\{g(\Vert\mathbf{u}\Vert)+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}&=\min_{\mathbf{u}\in\mathbb{E}}\left\{g(\Vert\mathbf{u}\Vert)+\frac{1}{2}\Vert\mathbf{u}\Vert^2-\langle\mathbf{u,x}\rangle+\frac{1}{2}\Vert\mathbf{x}\Vert^2\right\}\\&=\min_{\alpha\in\mathbb{R}_+}\min_{\mathbf{u}\in\mathbb{E}:\Vert\mathbf{u}\Vert=\alpha}\left\{g(\alpha)+\frac{1}{2}\alpha^2-\langle\mathbf{u,x}\rangle+\frac{1}{2}\Vert\mathbf{x}\Vert^2\right\}.\end{aligned} u∈Emin{g(∥u∥)+21∥u−x∥2}=u∈Emin{g(∥u∥)+21∥u∥2−⟨u,x⟩+21∥x∥2}=α∈R+minu∈E:∥u∥=αmin{g(α)+21α2−⟨u,x⟩+21∥x∥2}.根据Cauchy-Schwarz不等式易知内部极小化问题的解为 u = α x / ∥ x ∥ \mathbf{u}=\alpha\mathbf{x}/\Vert\mathbf{x}\Vert u=αx/∥x∥, 对应的最优值为 g ( α ) + 1 2 ( α − ∥ x ∥ ) 2 g(\alpha)+\frac{1}{2}(\alpha-\Vert\mathbf{x}\Vert)^2 g(α)+21(α−∥x∥)2. 因此要得到此时的 p r o x f ( x ) \mathrm{prox}_f(\mathbf{x}) proxf(x), 只需求解外部极小化问题: α = arg min α ∈ R + { g ( α ) + 1 2 ( α − ∥ x ∥ 2 ) } = arg min α ∈ R { g ( α ) + 1 2 ( α − ∥ x ∥ 2 ) } = p r o x g ( ∥ x ∥ ) . \begin{aligned}\alpha&=\arg\min_{\alpha\in\mathbb{R}_+}\left\{g(\alpha)+\frac{1}{2}(\alpha-\Vert\mathbf{x}\Vert^2)\right\}\\&=\arg\min_{\alpha\in\mathbb{R}}\left\{g(\alpha)+\frac{1}{2}(\alpha-\Vert\mathbf{x}\Vert^2)\right\}\\&=\mathrm{prox}_g(\Vert\mathbf{x}\Vert).\end{aligned} α=argα∈R+min{g(α)+21(α−∥x∥2)}=argα∈Rmin{g(α)+21(α−∥x∥2)}=proxg(∥x∥).于是 p r o x f ( x ) = p r o x g ( ∥ x ∥ ) x ∥ x ∥ \mathrm{prox}_f(\mathbf{x})=\mathrm{prox}_g(\Vert\mathbf{x}\Vert)\frac{\mathbf{x}}{\Vert\mathbf{x}\Vert} proxf(x)=proxg(∥x∥)∥x∥x.
例8 (欧式范数的prox) 设 f : E → R f:\mathbb{E}\to\mathbb{R} f:E→R定义为 f ( x ) = λ ∥ x ∥ f(\mathbf{x})=\lambda\Vert\mathbf{x}\Vert f(x)=λ∥x∥, 其中 λ > 0 \lambda>0 λ>0, ∥ ⋅ ∥ \Vert\cdot\Vert ∥⋅∥是欧式范数. 利用复合运算, f ( x ) = g ( ∥ x ∥ ) f(\mathbf{x})=g(\Vert\mathbf{x}\Vert) f(x)=g(∥x∥), 其中 g ( t ) = { λ t , t ≥ 0 , ∞ , t < 0. g(t)=\left\{\begin{array}{ll}\lambda t, & t\ge0,\\\infty, & t<0.\end{array}\right. g(t)={λt,∞,t≥0,t<0.由定理8, 对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, p r o x f ( x ) = { p r o x g ( ∥ x ∥ ) x ∥ x ∥ , x ≠ 0 , { u ∈ E : ∥ u ∥ = p r o x g ( 0 ) } , x = 0 . \mathrm{prox}_f(\mathbf{x})=\left\{\begin{array}{ll}\mathrm{prox}_g(\Vert\mathbf{x}\Vert)\frac{\mathbf{x}}{\Vert\mathbf{x}\Vert}, & \mathbf{x\ne0},\\\{\mathbf{u}\in\mathbb{E}:\Vert\mathbf{u}\Vert=\mathrm{prox}_g(0)\}, & \mathbf{x=0}.\end{array}\right. proxf(x)={proxg(∥x∥)∥x∥x,{u∈E:∥u∥=proxg(0)},x=0,x=0.由引理1中的 p r o x g 1 \mathrm{prox}_{g_1} proxg1, p r o x g ( t ) = [ t − λ ] + \mathrm{prox}_g(t)=[t-\lambda]_+ proxg(t)=[t−λ]+. 因此 p r o x g ( 0 ) = 0 , p r o x g ( ∥ x ∥ ) = [ ∥ x ∥ − λ ] + \mathrm{prox}_g(0)=0,\,\mathrm{prox}_g(\Vert\mathbf{x}\Vert)=[\Vert\mathbf{x}\Vert-\lambda]_+ proxg(0)=0,proxg(∥x∥)=[∥x∥−λ]+. 代入可得 p r o x f ( x ) = { [ ∥ x ∥ − λ ] + x ∥ x ∥ , x ≠ 0 , 0 , x = 0 = ( 1 − λ max { ∥ x ∥ , λ } ) x . \boxed{\mathrm{prox}_f(\mathbf{x})=\left\{\begin{array}{ll}[\Vert\mathbf{x}\Vert-\lambda]_+\frac{\mathbf{x}}{\Vert\mathbf{x}\Vert}, & \mathbf{x\ne0},\\\mathbf{0}, & \mathbf{x=0}\end{array}\right.=\left(1-\frac{\lambda}{\max\{\Vert\mathbf{x}\Vert,\lambda\}}\right)\mathbf{x}.} proxf(x)={[∥x∥−λ]+∥x∥x,0,x=0,x=0=(1−max{∥x∥,λ}λ)x.
例9 (立方欧式范数的prox) 设 f ( x ) = λ ∥ x ∥ 3 f(\mathbf{x})=\lambda\Vert\mathbf{x}\Vert^3 f(x)=λ∥x∥3, 其中 λ > 0 \lambda>0 λ>0. 利用复合运算, f ( x ) = λ g ( ∥ x ∥ ) f(\mathbf{x})=\lambda g(\Vert\mathbf{x}\Vert) f(x)=λg(∥x∥), 其中 g ( t ) = { t 3 , t ≥ 0 , ∞ , t < 0. g(t)=\left\{\begin{array}{ll}t^3, & t\ge0,\\\infty, & t<0.\end{array}\right. g(t)={t3,∞,t≥0,t<0.首先由定理8, 对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, p r o x f ( x ) = { p r o x g ( ∥ x ∥ ) x ∥ x ∥ , x ≠ 0 , { u ∈ E : ∥ u ∥ = p r o x g ( 0 ) } , x = 0 . \mathrm{prox}_f(\mathbf{x})=\left\{\begin{array}{ll}\mathrm{prox}_g(\Vert\mathbf{x}\Vert)\frac{\mathbf{x}}{\Vert\mathbf{x}\Vert}, & \mathbf{x\ne0},\\\{\mathbf{u}\in\mathbb{E}:\Vert\mathbf{u}\Vert=\mathrm{prox}_g(0)\}, & \mathbf{x=0}.\end{array}\right. proxf(x)={proxg(∥x∥)∥x∥x,{u∈E:∥u∥=proxg(0)},x=0,x=0.再由引理1的 p r o x g 3 \mathrm{prox}_{g_3} proxg3, p r o x g ( t ) = − 1 + 1 + 12 λ [ t ] + 6 λ \mathrm{prox}_g(t)=\frac{-1+\sqrt{1+12\lambda[t]_+}}{6\lambda} proxg(t)=6λ−1+1+12λ[t]+. 因此 p r o x g ( 0 ) = 0 \mathrm{prox}_g(0)=0 proxg(0)=0, p r o x f ( x ) = { − 1 + 1 + 12 λ ∥ x ∥ 6 λ x ∥ x ∥ , x ≠ 0 , 0 , x = 0 = 2 1 + 1 + 12 λ ∥ x ∥ x . \boxed{\mathrm{prox}_f(\mathbf{x})=\left\{\begin{array}{ll}\frac{-1+\sqrt{1+12\lambda\Vert\mathbf{x}\Vert}}{6\lambda}\frac{\mathbf{x}}{\Vert\mathbf{x}\Vert}, & \mathbf{x\ne0},\\\mathbf{0}, & \mathbf{x=0}\end{array}\right.=\frac{2}{1+\sqrt{1+12\lambda\Vert\mathbf{x}\Vert}}\mathbf{x}.} proxf(x)={6λ−1+1+12λ∥x∥∥x∥x,0,x=0,x=0=1+1+12λ∥x∥2x.
例10 (负欧式范数的prox) 设 f : E → R f:\mathbb{E}\to\mathbb{R} f:E→R定义为 f ( x ) = − λ ∥ x ∥ f(\mathbf{x})=-\lambda\Vert\mathbf{x}\Vert f(x)=−λ∥x∥, 其中 λ > 0 \lambda>0 λ>0. 这时 f f f不是凸函数, 因此我们不能说prox是单值映射. 但 f f f是闭函数, 且映射 u ↦ f ( u ) + 1 2 ∥ u − x ∥ 2 \mathbf{u}\mapsto f(\mathbf{u})+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2 u↦f(u)+21∥u−x∥2对任一 x ∈ E \mathbf{x}\in\mathbb{E} x∈E是强制的. 于是由定理2, p r o x f ( x ) \mathrm{prox}_f(\mathbf{x}) proxf(x)总是非空的. 为计算之, 首先利用复合运算, f ( x ) = g ( ∥ x ∥ ) f(\mathbf{x})=g(\Vert\mathbf{x}\Vert) f(x)=g(∥x∥), 其中 g ( t ) = { − λ t , t ≥ 0 , ∞ , t < 0. g(t)=\left\{\begin{array}{ll}-\lambda t, & t\ge0,\\\infty, & t<0.\end{array}\right. g(t)={−λt,∞,t≥0,t<0.再由定理8, 对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, p r o x f ( x ) = { p r o x g ( ∥ x ∥ ) x ∥ x ∥ , x ≠ 0 , { u ∈ E : ∥ u ∥ = p r o x g ( 0 ) } , x = 0 . \mathrm{prox}_f(\mathbf{x})=\left\{\begin{array}{ll}\mathrm{prox}_g(\Vert\mathbf{x}\Vert)\frac{\mathbf{x}}{\Vert\mathbf{x}\Vert}, & \mathbf{x\ne0},\\\{\mathbf{u}\in\mathbb{E}:\Vert\mathbf{u}\Vert=\mathrm{prox}_g(0)\}, & \mathbf{x=0}.\end{array}\right. proxf(x)={proxg(∥x∥)∥x∥x,{u∈E:∥u∥=proxg(0)},x=0,x=0.由引理1的 p r o x g 1 \mathrm{prox}_{g_1} proxg1, p r o x g ( t ) = [ t + λ ] + \mathrm{prox}_g(t)=[t+\lambda]_+ proxg(t)=[t+λ]+. 代入可得 p r o x g ( 0 ) = λ \mathrm{prox}_g(0)=\lambda proxg(0)=λ, p r o x f ( x ) = { ( 1 + λ ∥ x ∥ ) x , x ≠ 0 , { u : ∥ u ∥ = λ } , x = 0 . \boxed{\mathrm{prox}_f(\mathbf{x})=\left\{\begin{array}{ll}\left(1+\frac{\lambda}{\Vert\mathbf{x}\Vert}\right)\mathbf{x}, & \mathbf{x\ne0},\\\{\mathbf{u}:\Vert\mathbf{u}\Vert=\lambda\}, & \mathbf{x=0}.\end{array}\right.} proxf(x)={(1+∥x∥λ)x,{u:∥u∥=λ},x=0,x=0.
例11 (对称区间上绝对值函数的prox) 考虑函数 f : R → ( − ∞ , ∞ ] f:\mathbb{R}\to(-\infty,\infty] f:R→(−∞,∞]定义为 f ( x ) = { λ ∣ x ∣ , ∣ x ∣ ≤ α , ∞ , 其 它 , f(x)=\left\{\begin{array}{ll}\lambda|x|, & |x|\le\alpha,\\\infty, & 其它,\end{array}\right. f(x)={λ∣x∣,∞,∣x∣≤α,其它,其中 λ ∈ [ 0 , ∞ ) , α ∈ [ 0 , ∞ ] \lambda\in[0,\infty),\,\alpha\in[0,\infty] λ∈[0,∞),α∈[0,∞]. 于是 f ( x ) = g ( ∣ x ∣ ) f(x)=g(|x|) f(x)=g(∣x∣), 其中 g ( x ) = { λ x , 0 ≤ x ≤ α , ∞ , 其 它 . g(x)=\left\{\begin{array}{ll}\lambda x, & 0\le x\le\alpha,\\\infty, & 其它.\end{array}\right. g(x)={λx,∞,0≤x≤α,其它.由定理8, 对 ∀ x \forall x ∀x, p r o x f ( x ) = { p r o x g ( ∣ x ∣ ) x ∣ x ∣ , x ≠ 0 , { u ∈ R : ∣ u ∣ = p r o x g ( 0 ) } , x = 0. \mathrm{prox}_f(\mathbf{x})=\left\{\begin{array}{ll}\mathrm{prox}_g(|x|)\frac{x}{|x|}, & x\ne0,\\\{u\in\mathbb{R}:|u|=\mathrm{prox}_g(0)\}, & x=0.\end{array}\right. proxf(x)={proxg(∣x∣)∣x∣x,{u∈R:∣u∣=proxg(0)},x=0,x=0.由例5, p r o x g ( x ) = min { max { x − λ , 0 } , α } \mathrm{prox}_g(x)=\min\{\max\{x-\lambda,0\},\alpha\} proxg(x)=min{max{x−λ,0},α}, 代入并注意到 x ∣ x ∣ = s g n ( x ) , ∀ x ≠ 0 \frac{x}{|x|}=\mathrm{sgn}(x),\,\forall x\ne0 ∣x∣x=sgn(x),∀x=0, 可得 p r o x f ( x ) = min { max { ∣ x ∣ − λ , 0 } , α } s g n ( x ) . \boxed{\mathrm{prox}_f(x)=\min\{\max\{|x|-\lambda,0\},\alpha\}\mathrm{sgn}(x).} proxf(x)=min{max{∣x∣−λ,0},α}sgn(x).
例12 (盒型区域上加权 ℓ 1 \ell_1 ℓ1-范数的prox) 考虑函数 f : R n → R f:\mathbb{R}^n\to\mathbb{R} f:Rn→R定义为 f ( x ) = { ∑ i = 1 n ω i ∣ x i ∣ , − α ≤ x ≤ α , ∞ , 其 它 , f(\mathbf{x})=\left\{\begin{array}{ll}\sum_{i=1}^n\omega_i|x_i|, & -\bm{\alpha}\le\mathbf{x}\le\bm{\alpha},\\\infty, & 其它,\end{array}\right. f(x)={∑i=1nωi∣xi∣,∞,−α≤x≤α,其它,其中 x ∈ R n , ω ∈ R + n , α ∈ [ 0 , ∞ ] n \mathbf{x}\in\mathbb{R}^n,\,\bm{\omega}\in\mathbb{R}_+^n,\,\bm{\alpha}\in[0,\infty]^n x∈Rn,ω∈R+n,α∈[0,∞]n. 于是 f = ∑ i = 1 n f i f=\sum_{i=1}^nf_i f=∑i=1nfi, 其中 f i ( x ) = { ω i ∣ x ∣ , − α i ≤ x ≤ α i , ∞ , 其 它 . f_i(x)=\left\{\begin{array}{ll}\omega_i|x|, & -\alpha_i\le x\le\alpha_i,\\\infty, & 其它.\end{array}\right. fi(x)={ωi∣x∣,∞,−αi≤x≤αi,其它.由例11和定理3, 就有 p r o x f ( x ) = ( min { max { ∣ x i ∣ − ω i , 0 } , α i } s g n ( x i ) ) i = 1 n . \boxed{\mathrm{prox}_f(\mathbf{x})=\left(\min\{\max\{|x_i|-\omega_i,0\},\alpha_i\}\mathrm{sgn}(x_i)\right)_{i=1}^n.} proxf(x)=(min{max{∣xi∣−ωi,0},αi}sgn(xi))i=1n.
3.1 临近计算小结
f ( x ) f(\mathbf{x}) f(x) | p r o x f ( x ) \mathrm{prox}_f(\mathbf{x}) proxf(x) | 假设条件 | 定理号 |
---|---|---|---|
∑ i = 1 m f i ( x i ) \sum_{i=1}^mf_i(\mathbf{x}_i) ∑i=1mfi(xi) | p r o x f 1 ( x 1 ) × ⋯ × p r o x f m ( x m ) \mathrm{prox}_{f_1}(\mathbf{x}_1)\times\cdots\times\mathrm{prox}_{f_m}(\mathbf{x}_m) proxf1(x1)×⋯×proxfm(xm) | 3 | |
g ( λ x + a ) g(\lambda\mathbf{x}+\mathbf{a}) g(λx+a) | 1 λ [ p r o x λ 2 g ( λ x + a ) − a ] \frac{1}{\lambda}\left[\mathrm{prox}_{\lambda^2g}(\lambda\mathbf{x}+\mathbf{a})-\mathbf{a}\right] λ1[proxλ2g(λx+a)−a] | λ ≠ 0 , a ∈ E , g \lambda\ne0,\,\mathbf{a}\in\mathbb{E},g λ=0,a∈E,g正常 | 4 |
λ g ( x / λ ) \lambda g(\mathbf{x}/\lambda) λg(x/λ) | λ p r o x g / λ ( x / λ ) \lambda\mathrm{prox}_{g/\lambda}(\mathbf{x}/\lambda) λproxg/λ(x/λ) | λ ≠ 0 , g \lambda\ne0,\,g λ=0,g正常 | 5 |
g ( x ) + c 2 ∥ x ∥ 2 + ⟨ a , x ⟩ + γ g(\mathbf{x})+\frac{c}{2}\Vert\mathbf{x}\Vert^2+\langle\mathbf{a,x}\rangle+\gamma g(x)+2c∥x∥2+⟨a,x⟩+γ | p r o x 1 c + 1 g ( x − a c + 1 ) \mathrm{prox}_{\frac{1}{c+1}g}\left(\frac{\mathbf{x-a}}{c+1}\right) proxc+11g(c+1x−a) | a ∈ E , c > 0 , γ ∈ R , g \mathbf{a}\in\mathbb{E},\,c>0,\,\gamma\in\mathbb{R},\,g a∈E,c>0,γ∈R,g正常 | 6 |
g ( A ( x ) + b ) g(\mathcal{A}(\mathbf{x})+\mathbf{b}) g(A(x)+b) | x + 1 α A T ( p r o x α g ( A ( x ) + b ) − A ( x ) − b ) \mathbf{x}+\frac{1}{\alpha}\mathcal{A}^T\left(\mathrm{prox}_{\alpha g}(\mathcal{A}(\mathbf{x})+\mathbf{b})-\mathcal{A}(\mathbf{x})-\mathbf{b}\right) x+α1AT(proxαg(A(x)+b)−A(x)−b) | b ∈ R m , A : V → R m , A ∘ A T = α I , g \mathbf{b}\in\mathbb{R}^m,\,\mathcal{A}:\mathbb{V}\to\mathbb{R}^m,\,\mathcal{A}\circ\mathcal{A}^T=\alpha\mathcal{I},\,g b∈Rm,A:V→Rm,A∘AT=αI,g正常闭凸, α > 0 \alpha>0 α>0 | 7 |
g ( ∥ x ∥ ) g(\Vert\mathbf{x}\Vert) g(∥x∥) | p r o x g ( ∥ x ∥ ) x ∥ x ∥ , x ≠ 0 , { u : ∥ u ∥ = p r o x g ( 0 ) } , x = 0 . \begin{array}{ll}\mathrm{prox}_g(\Vert\mathbf{x}\Vert)\frac{\mathbf{x}}{\Vert\mathbf{x}\Vert}, & \mathbf{x\ne0},\\\{\mathbf{u}:\Vert\mathbf{u}\Vert=\mathrm{prox}_g(0)\}, & \mathbf{x=0}.\end{array} proxg(∥x∥)∥x∥x,{u:∥u∥=proxg(0)},x=0,x=0. | g g g正常闭凸, d o m ( g ) ⊂ [ 0 , ∞ ) \mathrm{dom}(g)\subset[0,\infty) dom(g)⊂[0,∞) | 8 |
4. 指示函数的prox–正交投影
4.1 第一投影定理
设 g : E → ( − ∞ , ∞ ] g:\mathbb{E}\to(-\infty,\infty] g:E→(−∞,∞]定义为 g ( x ) = δ C ( x ) g(\mathbf{x})=\delta_C(\mathbf{x}) g(x)=δC(x), 其中 C C C为非空集合. 则 p r o x g ( x ) = arg min u ∈ E { δ C ( u ) + 1 2 ∥ u − x ∥ 2 } = arg min u ∈ C ∥ u − x ∥ 2 = P C ( x ) . \mathrm{prox}_g(\mathbf{x})=\arg\min_{\mathbf{u}\in\mathbb{E}}\left\{\delta_C(\mathbf{u})+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}=\arg\min_{\mathbf{u}\in C}\Vert\mathbf{u-x}\Vert^2=P_C(\mathbf{x}). proxg(x)=argu∈Emin{δC(u)+21∥u−x∥2}=argu∈Cmin∥u−x∥2=PC(x).于是, 集合指示函数的临近映射就是同一集合上的正交投影算子.
定理9 设 C ⊂ E C\subset\mathbb{E} C⊂E非空. 则 p r o x δ C ( x ) = P C ( x ) , ∀ x ∈ E \mathrm{prox}_{\delta_C}(\mathbf{x})=P_C(\mathbf{x}),\,\forall\mathbf{x}\in\mathbb{E} proxδC(x)=PC(x),∀x∈E.
若除了非空外, C C C还是闭凸集, 则相应的指示函数 δ C \delta_C δC就是正常闭凸函数, 从而由第一临近定理, 正交投影算子就是单值的.
定理10 (第一投影定理) 设 C ⊂ E C\subset\mathbb{E} C⊂E为一非空闭凸集. 则对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, P C ( x ) P_C(\mathbf{x}) PC(x)是单点集.
4.2 R n \mathbb{R}^n Rn中的例子
引理2 (到
R
n
\mathbb{R}^n
Rn子集上的正交投影) 以下是
R
n
\mathbb{R}^n
Rn中的一些非空闭凸集及其对应的正交投影:
非负象限
C
1
=
R
+
n
,
[
x
]
+
,
盒型区域
C
2
=
Box
[
ℓ
,
u
]
,
(
min
{
max
{
x
i
,
ℓ
i
}
,
u
i
}
)
i
=
1
n
,
仿射集
C
3
=
{
x
∈
R
n
:
A
x
=
b
}
,
x
−
A
T
(
A
A
T
)
−
1
(
A
x
−
b
)
,
ℓ
2
球
C
4
=
B
∥
⋅
∥
2
[
c
,
r
]
,
c
+
r
max
{
∥
x
−
c
∥
2
,
r
}
(
x
−
c
)
,
半空间
C
5
=
{
x
:
a
T
x
≤
α
}
,
x
−
[
a
T
x
−
α
]
+
∥
a
∥
2
a
,
\begin{aligned}& \text{非负象限} &&C_1=\mathbb{R}_+^n, &&[\mathbf{x}]_+,\\&\text{盒型区域} &&C_2=\text{Box}[\mathbf{\ell},\mathbf{u}], &&(\min\{\max\{x_i,\ell_i\},u_i\})_{i=1}^n,\\&\text{仿射集} &&C_3=\{\mathbf{x}\in\mathbb{R}^n:\mathbf{Ax=b}\}, &&\mathbf{x}-\mathbf{A}^T(\mathbf{AA}^T)^{-1}(\mathbf{Ax-b}),\\&\ell_2\text{球} &&C_4=B_{\Vert\cdot\Vert_2}[\mathbf{c},r], &&\mathbf{c}+\frac{r}{\max\{\Vert\mathbf{x-c}\Vert_2,r\}}(\mathbf{x-c}),\\&\text{半空间} &&C_5=\{\mathbf{x}:\mathbf{a}^T\mathbf{x}\le\alpha\}, &&\mathbf{x}-\frac{[\mathbf{a}^T\mathbf{x}-\alpha]_+}{\Vert\mathbf{a}\Vert^2}\mathbf{a},\end{aligned}
非负象限盒型区域仿射集ℓ2球半空间C1=R+n,C2=Box[ℓ,u],C3={x∈Rn:Ax=b},C4=B∥⋅∥2[c,r],C5={x:aTx≤α},[x]+,(min{max{xi,ℓi},ui})i=1n,x−AT(AAT)−1(Ax−b),c+max{∥x−c∥2,r}r(x−c),x−∥a∥2[aTx−α]+a,其中
ℓ
∈
[
−
∞
,
∞
)
n
,
u
∈
(
−
∞
,
∞
]
n
:
ℓ
≤
u
,
A
∈
R
m
×
n
:
rank
(
A
)
=
m
,
b
∈
R
m
,
c
∈
R
n
,
r
>
0
,
a
∈
R
n
∖
{
0
}
,
α
∈
R
\mathbf{\ell}\in[-\infty,\infty)^n,\,\mathbf{u}\in(-\infty,\infty]^n:\mathbf{\ell}\le\mathbf{u},\,\mathbf{A}\in\mathbb{R}^{m\times n}:\text{rank}(\mathbf{A})=m,\,\mathbf{b}\in\mathbb{R}^m,\,\mathbf{c}\in\mathbb{R}^n,\,r>0,\,\mathbf{a}\in\mathbb{R}^n\setminus\{\mathbf{0}\},\,\alpha\in\mathbb{R}
ℓ∈[−∞,∞)n,u∈(−∞,∞]n:ℓ≤u,A∈Rm×n:rank(A)=m,b∈Rm,c∈Rn,r>0,a∈Rn∖{0},α∈R.
引理2的结论较易验证. 注意尽管我们将盒型子集的概念扩充到无界情形, 但盒型子集总是 R n \mathbb{R}^n Rn的子集. 例如 Box [ 0 , ∞ e ] = R + n \text{Box}[\mathbf{0},\infty\mathbf{e}]=\mathbb{R}_+^n Box[0,∞e]=R+n.
4.3 到超平面与盒型区域之交上的投影
定理11 (到超平面与盒型区域之交上的正交投影) 设 C ⊂ R n C\subset\mathbb{R}^n C⊂Rn为 C = H a , b ∩ Box [ ℓ , u ] = { x ∈ R n : a T x = b , ℓ ≤ x ≤ u } , C=H_{\mathbf{a},b}\cap\text{Box}[\mathbf{\ell},\mathbf{u}]=\{\mathbf{x}\in\mathbb{R}^n:\mathbf{a}^T\mathbf{x}=b,\,\mathbf{\ell}\le\mathbf{x}\le\mathbf{u}\}, C=Ha,b∩Box[ℓ,u]={x∈Rn:aTx=b,ℓ≤x≤u},其中 a ∈ R n ∖ { 0 } , b ∈ R , ℓ ∈ [ − ∞ , ∞ ) n , u ∈ ( − ∞ , ∞ ] n \mathbf{a}\in\mathbb{R}^n\setminus\{\mathbf{0}\},\,b\in\mathbb{R},\,\mathbf{\ell}\in[-\infty,\infty)^n,\,\mathbf{u}\in(-\infty,\infty]^n a∈Rn∖{0},b∈R,ℓ∈[−∞,∞)n,u∈(−∞,∞]n. 假设 C ≠ ∅ C\ne\emptyset C=∅. 则 P C ( x ) = P Box [ ℓ , u ] ( x − μ ∗ a ) , P_C(\mathbf{x})=P_{\text{Box}[\mathbf{\ell},\mathbf{u}]}(\mathbf{x}-\mu^*\mathbf{a}), PC(x)=PBox[ℓ,u](x−μ∗a),其中 Box [ ℓ , u ] = { y ∈ R n : ℓ i ≤ y i ≤ u i , i = 1 , 2 , … , n } \text{Box}[\mathbf{\ell},\mathbf{u}]=\{\mathbf{y}\in\mathbb{R}^n:\ell_i\le y_i\le u_i,\,i=1,2,\ldots,n\} Box[ℓ,u]={y∈Rn:ℓi≤yi≤ui,i=1,2,…,n}, μ ∗ \mu^* μ∗为方程 a T P Box [ ℓ , u ] ( x − μ a ) = b \mathbf{a}^TP_{\text{Box}[\mathbf{\ell},\mathbf{u}]}(\mathbf{x-\mu a})=b aTPBox[ℓ,u](x−μa)=b的解.
证明: 对 ∀ x ∈ R n \forall\mathbf{x}\in\mathbb{R}^n ∀x∈Rn, 它到 C C C上的正交投影就是以下问题的唯一最优解: min y { 1 2 ∥ y − x ∥ 2 2 : a T y = b , ℓ ≤ y ≤ u } . \min_{\mathbf{y}}\left\{\frac{1}{2}\Vert\mathbf{y-x}\Vert_2^2:\mathbf{a}^T\mathbf{y}=b,\,\mathbf{\ell}\le\mathbf{y}\le\mathbf{u}\right\}. ymin{21∥y−x∥22:aTy=b,ℓ≤y≤u}.此问题的Lagrange函数是 L ( y ; μ ) = 1 2 ∥ y − x ∥ 2 2 + μ ( a T y − b ) = 1 2 ∥ y − ( x − μ a ) ∥ 2 2 − μ 2 2 ∥ a ∥ 2 2 + μ ( a T x − b ) . L(\mathbf{y};\mu)=\frac{1}{2}\Vert\mathbf{y-x}\Vert_2^2+\mu(\mathbf{a}^T\mathbf{y}-b)=\frac{1}{2}\Vert\mathbf{y}-(\mathbf{x-\mu a})\Vert^2_2-\frac{\mu^2}{2}\Vert\mathbf{a}\Vert_2^2+\mu(\mathbf{a}^T\mathbf{x}-b). L(y;μ)=21∥y−x∥22+μ(aTy−b)=21∥y−(x−μa)∥22−2μ2∥a∥22+μ(aTx−b).由于对此问题有强对偶性成立, 于是有最优性条件: y ∗ \mathbf{y}^* y∗为问题最优解当且仅当存在 μ ∗ ∈ R \mu^*\in\mathbb{R} μ∗∈R使得 y ∗ ∈ arg min ℓ ≤ y ≤ u L ( y ; μ ∗ ) , a T y ∗ = b . \begin{aligned}\mathbf{y}^*&\in\arg\min_{\mathbf{\ell}\le\mathbf{y}\le\mathbf{u}}L(\mathbf{y};\mu^*),\\\mathbf{a}^T\mathbf{y}^*&=b.\end{aligned} y∗aTy∗∈argℓ≤y≤uminL(y;μ∗),=b.利用Lagrange函数的表达式, y ∗ = P Box [ ℓ , u ] ( x − μ ∗ a ) , \mathbf{y}^*=P_{\text{Box}[\mathbf{\ell},\mathbf{u}]}(\mathbf{x}-\mu^*\mathbf{a}), y∗=PBox[ℓ,u](x−μ∗a),可行性条件为 a T P Box [ ℓ , u ] ( x − μ ∗ a ) = b . \mathbf{a}^TP_{\text{Box}[\mathbf{\ell},\mathbf{u}]}(\mathbf{x}-\mu^*\mathbf{a})=b. aTPBox[ℓ,u](x−μ∗a)=b.6
推论1 (到单位单纯形上的正交投影) 对 ∀ x ∈ R n \forall\mathbf{x}\in\mathbb{R}^n ∀x∈Rn, P Δ n ( x ) = [ x − μ ∗ e ] + , P_{\Delta_n}(\mathbf{x})=[\mathbf{x-\mu^* e}]_+, PΔn(x)=[x−μ∗e]+,其中 μ ∗ \mu^* μ∗为方程 e T [ x − μ ∗ e ] + − 1 = 0 \mathbf{e}^T[\mathbf{x-\mu^*e}]_+-1=0 eT[x−μ∗e]+−1=0的解.
证明: 在定理11中令 a = e , b = 1 , ℓ i = 0 , u i = ∞ , i = 1 , 2 , … , n \mathbf{a=e},\,b=1,\,\ell_i=0,\,u_i=\infty,\,i=1,2,\ldots,n a=e,b=1,ℓi=0,ui=∞,i=1,2,…,n, 并注意到此时 P Box [ ℓ , u ] ( x ) = [ x ] + P_{\text{Box}[\mathbf{\ell,u}]}(\mathbf{x})=[\mathbf{x}]_+ PBox[ℓ,u](x)=[x]+即得证.
在下面两个小节中, 我们还将讨论到水平集和上镜图上的正交投影, 以得到更多关于正交投影算子的结论.
4.4 到水平集上的正交投影
定理12 (到水平集上的正交投影) 设 C = L e v ( f , α ) = { x ∈ E : f ( x ) ≤ α } C=\mathrm{Lev}(f,\alpha)=\{\mathbf{x}\in\mathbb{E}:f(\mathbf{x})\le\alpha\} C=Lev(f,α)={x∈E:f(x)≤α}, 其中 f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f:E→(−∞,∞]为一正常闭凸函数, α ∈ R \alpha\in\mathbb{R} α∈R. 假设存在 x ^ ∈ E \hat\mathbf{x}\in\mathbb{E} x^∈E, 使得 f ( x ^ ) < α f(\hat\mathbf{x})<\alpha f(x^)<α. 于是 P C ( x ) = { P d o m ( f ) ( x ) , f ( P d o m ( f ) ( x ) ) ≤ α , p r o x λ ∗ f ( x ) , 其 它 , P_C(\mathbf{x})=\left\{\begin{array}{ll}P_{\mathrm{dom}(f)}(\mathbf{x}), & f\left(P_{\mathrm{dom}(f)}(\mathbf{x})\right)\le\alpha,\\\mathrm{prox}_{\lambda^*f}(\mathbf{x}), & 其它,\end{array}\right. PC(x)={Pdom(f)(x),proxλ∗f(x),f(Pdom(f)(x))≤α,其它,其中 λ ∗ \lambda^* λ∗为方程 φ ( λ ) ≡ f ( p r o x λ f ( x ) ) − α = 0 \varphi(\lambda)\equiv f(\mathrm{prox}_{\lambda f}(\mathbf{x}))-\alpha=0 φ(λ)≡f(proxλf(x))−α=0的任一正解. 另外, φ \varphi φ单调递减.
证明:
x
\mathbf{x}
x到
C
C
C上的正交投影是以下问题的最优解:
min
y
∈
E
{
1
2
∥
y
−
x
∥
2
:
f
(
y
)
≤
α
,
y
∈
X
}
,
\min_{\mathbf{y}\in\mathbb{E}}\left\{\frac{1}{2}\Vert\mathbf{y-x}\Vert^2:f(\mathbf{y})\le\alpha,\,\mathbf{y}\in X\right\},
y∈Emin{21∥y−x∥2:f(y)≤α,y∈X},其中
X
=
d
o
m
(
f
)
X=\mathrm{dom}(f)
X=dom(f). 此问题的Lagrange函数为(
λ
≥
0
\lambda\ge0
λ≥0):
L
(
y
;
λ
)
=
1
2
∥
y
−
x
∥
2
+
λ
f
(
y
)
−
α
λ
.
L(\mathbf{y};\lambda)=\frac{1}{2}\Vert\mathbf{y-x}\Vert^2+\lambda f(\mathbf{y})-\alpha\lambda.
L(y;λ)=21∥y−x∥2+λf(y)−αλ.由于对此问题有强对偶性成立, 因此有最优性条件:
y
∗
\mathbf{y}^*
y∗为问题最优解当且仅当存在
λ
∗
∈
R
+
\lambda^*\in\mathbb{R}^+
λ∗∈R+使得
y
∗
∈
arg
min
y
∈
X
L
(
y
;
λ
∗
)
,
f
(
y
∗
)
≤
α
,
λ
∗
(
f
(
y
∗
)
−
α
)
=
0.
\begin{aligned}\mathbf{y}^*&\in\arg\min_{\mathbf{y}\in X}L(\mathbf{y};\lambda^*),\\f(\mathbf{y}^*)&\le\alpha,\\\lambda^*(f(\mathbf{y}^*)-\alpha)&=0.\end{aligned}
y∗f(y∗)λ∗(f(y∗)−α)∈argy∈XminL(y;λ∗),≤α,=0.(i) 若
P
X
(
x
)
P_X(\mathbf{x})
PX(x)存在且
f
(
P
X
(
x
)
)
≤
α
f(P_X(\mathbf{x}))\le\alpha
f(PX(x))≤α, 则
y
∗
=
P
X
(
x
)
,
λ
∗
=
0
\mathbf{y}^*=P_X(\mathbf{x}),\,\lambda^*=0
y∗=PX(x),λ∗=0就满足最优性条件;
(ii) 若
P
X
(
x
)
P_X(\mathbf{x})
PX(x)不存在7或
f
(
P
X
(
x
)
)
>
α
f(P_X(\mathbf{x}))>\alpha
f(PX(x))>α, 则必有
λ
∗
>
0
\lambda^*>0
λ∗>0, 此时最优性条件就变成
y
∗
=
p
r
o
x
λ
∗
f
(
x
)
,
f
(
p
r
o
x
λ
∗
f
(
x
)
)
=
α
\mathbf{y}^*=\mathrm{prox}_{\lambda^*f}(\mathbf{x}),\,f(\mathrm{prox}_{\lambda^*f}(\mathbf{x}))=\alpha
y∗=proxλ∗f(x),f(proxλ∗f(x))=α. 这就给出了定理中
P
C
(
x
)
P_C(\mathbf{x})
PC(x)的表达式.
下证 φ \varphi φ单调递减. 任取 0 ≤ λ 1 < λ 2 0\le\lambda_1<\lambda_2 0≤λ1<λ2. 记 v 1 = p r o x λ 1 f ( x ) , v 2 = p r o x λ 2 f ( x ) \mathbf{v}_1=\mathrm{prox}_{\lambda_1f}(\mathbf{x}),\,\mathbf{v}_2=\mathrm{prox}_{\lambda_2f}(\mathbf{x}) v1=proxλ1f(x),v2=proxλ2f(x). 于是 1 2 ∥ v 2 − x ∥ 2 + λ 2 ( f ( v 2 ) − α ) = 1 2 ∥ v 2 − x ∥ 2 + λ 1 ( f ( v 2 ) − α ) + ( λ 2 − λ 1 ) ( f ( v 2 ) − α ) ≥ 1 2 ∥ v 1 − x ∥ 2 + λ 1 ( f ( v 1 ) − α ) + ( λ 2 − λ 1 ) ( f ( v 2 ) − α ) = 1 2 ∥ v 1 − x ∥ 2 + λ 2 ( f ( v 1 ) − α ) + ( λ 2 − λ 1 ) ( f ( v 2 ) − f ( v 1 ) ) ≥ 1 2 ∥ v 2 − x ∥ 2 + λ 2 ( f ( v 2 ) − α ) + ( λ 2 − λ 1 ) ( f ( v 2 ) − f ( v 1 ) ) . \begin{aligned}&\frac{1}{2}\Vert\mathbf{v}_2-\mathbf{x}\Vert^2+\lambda_2(f(\mathbf{v}_2)-\alpha)\\&=\frac{1}{2}\Vert\mathbf{v}_2-\mathbf{x}\Vert^2+\lambda_1(f(\mathbf{v}_2)-\alpha)+(\lambda_2-\lambda_1)(f(\mathbf{v}_2)-\alpha)\\&\ge\frac{1}{2}\Vert\mathbf{v}_1-\mathbf{x}\Vert^2+\lambda_1(f(\mathbf{v}_1)-\alpha)+(\lambda_2-\lambda_1)(f(\mathbf{v}_2)-\alpha)\\&=\frac{1}{2}\Vert\mathbf{v}_1-\mathbf{x}\Vert^2+\lambda_2(f(\mathbf{v}_1)-\alpha)+(\lambda_2-\lambda_1)(f(\mathbf{v}_2)-f(\mathbf{v}_1))\\&\ge\frac{1}{2}\Vert\mathbf{v}_2-\mathbf{x}\Vert^2+\lambda_2(f(\mathbf{v}_2)-\alpha)+(\lambda_2-\lambda_1)(f(\mathbf{v}_2)-f(\mathbf{v}_1)).\end{aligned} 21∥v2−x∥2+λ2(f(v2)−α)=21∥v2−x∥2+λ1(f(v2)−α)+(λ2−λ1)(f(v2)−α)≥21∥v1−x∥2+λ1(f(v1)−α)+(λ2−λ1)(f(v2)−α)=21∥v1−x∥2+λ2(f(v1)−α)+(λ2−λ1)(f(v2)−f(v1))≥21∥v2−x∥2+λ2(f(v2)−α)+(λ2−λ1)(f(v2)−f(v1)).因此, ( λ 2 − λ 1 ) ( f ( v 2 ) − f ( v 1 ) ) ≤ 0 (\lambda_2-\lambda_1)(f(\mathbf{v}_2)-f(\mathbf{v}_1))\le0 (λ2−λ1)(f(v2)−f(v1))≤0. 因 λ < λ 2 \lambda<\lambda_2 λ<λ2, 所以 f ( v 2 ) ≤ f ( v 1 ) f(\mathbf{v}_2)\le f(\mathbf{v}_1) f(v2)≤f(v1). 最后, φ ( λ 2 ) = f ( v 2 ) − α ≤ f ( v 1 ) − α = φ ( λ 1 ) . \varphi(\lambda_2)=f(\mathbf{v}_2)-\alpha\le f(\mathbf{v}_1)-\alpha=\varphi(\lambda_1). φ(λ2)=f(v2)−α≤f(v1)−α=φ(λ1).
例13 (到半空间与盒型区域之交上的正交投影) 考虑集合 C = H a , b − ∩ Box [ ℓ , u ] = { x ∈ R n : a T x ≤ b , ℓ ≤ x ≤ u } , C=H_{\mathbf{a},b}^-\cap\text{Box}[\mathbf{\ell,u}]=\{\mathbf{x}\in\mathbb{R}^n:\mathbf{a}^T\mathbf{x}\le b,\,\mathbf{\ell\le x\le u}\}, C=Ha,b−∩Box[ℓ,u]={x∈Rn:aTx≤b,ℓ≤x≤u},其中 a ∈ R n ∖ { 0 } , b ∈ R , ℓ ∈ [ − ∞ , ∞ ) n , u ∈ ( − ∞ , ∞ ] n \mathbf{a}\in\mathbb{R}^n\setminus\{\mathbf{0}\},\,b\in\mathbb{R},\,\mathbf{\ell}\in[-\infty,\infty)^n,\,\mathbf{u}\in(-\infty,\infty]^n a∈Rn∖{0},b∈R,ℓ∈[−∞,∞)n,u∈(−∞,∞]n. 假设 C ≠ ∅ C\ne\emptyset C=∅. 则 C = L e v ( f , b ) C=\mathrm{Lev}(f,b) C=Lev(f,b), 其中 f ( x ) = a T x + δ Box [ ℓ , u ] ( x ) f(\mathbf{x})=\mathbf{a}^T\mathbf{x}+\delta_{\text{Box}[\mathbf{\ell,u}]}(\mathbf{x}) f(x)=aTx+δBox[ℓ,u](x). 对 ∀ λ > 0 \forall\lambda>0 ∀λ>0, p r o x λ f ( x ) = p r o x λ a T ( ⋅ ) + δ Box [ ℓ , u ] ( ⋅ ) ( x ) = 定 理 6 p r o x δ Box [ ℓ , u ] ( x − λ a ) = P Box [ ℓ , u ] ( x − λ a ) . \mathrm{prox}_{\lambda f}(\mathbf{x})=\mathrm{prox}_{\lambda\mathbf{a}^T(\cdot)+\delta_{\text{Box}[\mathbf{\ell,u}]}(\cdot)}(\mathbf{x})\overset{定理6}{=}\mathrm{prox}_{\delta_{\text{Box}[\mathbf{\ell,u}]}}(\mathbf{x-\lambda a})=P_{\text{Box}[\mathbf{\ell,u}]}(\mathbf{x-\lambda a}). proxλf(x)=proxλaT(⋅)+δBox[ℓ,u](⋅)(x)=定理6proxδBox[ℓ,u](x−λa)=PBox[ℓ,u](x−λa).由定理12, P C ( x ) = { P Box [ ℓ , u ] ( x ) , a T P Box [ ℓ , u ] ( x ) ≤ b , P Box [ ℓ , u ] ( x − λ ∗ a ) , a T P Box [ ℓ , u ] ( x ) > b , 其中 λ ∗ 为 φ ( λ ) = a T P Box [ ℓ , u ] ( x − λ a ) − b 的 任 一 正 根 . \boxed{\begin{aligned}P_C(\mathbf{x})&=\left\{\begin{array}{ll}P_{\text{Box}[\mathbf{\ell,u}]}(\mathbf{x}), & \mathbf{a}^TP_{\text{Box}[\mathbf{\ell,u}]}(\mathbf{x})\le b,\\P_{\text{Box}[\mathbf{\ell,u}]}(\mathbf{x-\lambda^*a}), & \mathbf{a}^TP_{\text{Box}[\mathbf{\ell,u}]}(\mathbf{x})>b,\end{array}\right.\\ \text{其中}\lambda^*为\varphi(\lambda)&=\mathbf{a}^TP_{\text{Box}[\mathbf{\ell,u}]}(\mathbf{x-\lambda a})-b的任一正根.\end{aligned}} PC(x)其中λ∗为φ(λ)={PBox[ℓ,u](x),PBox[ℓ,u](x−λ∗a),aTPBox[ℓ,u](x)≤b,aTPBox[ℓ,u](x)>b,=aTPBox[ℓ,u](x−λa)−b的任一正根.
例14 (到 ℓ 1 \ell_1 ℓ1球上的正交投影) 设 C = B ∥ ⋅ ∥ 1 [ 0 , α ] = { x ∈ R n : ∥ x ∥ 1 ≤ α } C=B_{\Vert\cdot\Vert_1}[\mathbf{0},\alpha]=\{\mathbf{x}\in\mathbb{R}^n:\Vert\mathbf{x}\Vert_1\le\alpha\} C=B∥⋅∥1[0,α]={x∈Rn:∥x∥1≤α}, 其中 α > 0 \alpha>0 α>0. 于是 C = L e v ( f , α ) C=\mathrm{Lev}(f,\alpha) C=Lev(f,α), 其中 f ( x ) = ∥ x ∥ 1 f(\mathbf{x})=\Vert\mathbf{x}\Vert_1 f(x)=∥x∥1. 在例2中我们已得到 p r o x λ f ( x ) = T λ ( x ) , ∀ x ∈ R n , \mathrm{prox}_{\lambda f}(\mathbf{x})=\mathcal{T}_{\lambda}(\mathbf{x}),\quad\forall\mathbf{x}\in\mathbb{R}^n, proxλf(x)=Tλ(x),∀x∈Rn,其中 T λ ( x ) = [ x − λ e ] + ⊙ s g n ( x ) \mathcal{T}_{\lambda}(\mathbf{x})=[\mathbf{x-\lambda e}]_+\odot\mathrm{sgn}(\mathbf{x}) Tλ(x)=[x−λe]+⊙sgn(x). 由定理12, P B ∥ ⋅ ∥ 1 [ 0 , α ] ( x ) = { x , ∥ x ∥ 1 ≤ α , T λ ∗ ( x ) , ∥ x ∥ 1 > α , 其 中 λ ∗ 为 φ ( λ ) = ∥ T λ ( x ) ∥ 1 − α 的 任 一 正 根 . \boxed{\begin{aligned}P_{B_{\Vert\cdot\Vert_1}[\mathbf{0},\alpha]}(\mathbf{x})&=\left\{\begin{array}{ll}\mathbf{x}, & \Vert\mathbf{x}\Vert_1\le\alpha,\\\mathcal{T}_{\lambda^*}(\mathbf{x}), & \Vert\mathbf{x}\Vert_1>\alpha,\end{array}\right.\\其中\lambda^*为\varphi(\lambda)&=\Vert\mathcal{T}_{\lambda}(\mathbf{x})\Vert_1-\alpha的任一正根.\end{aligned}} PB∥⋅∥1[0,α](x)其中λ∗为φ(λ)={x,Tλ∗(x),∥x∥1≤α,∥x∥1>α,=∥Tλ(x)∥1−α的任一正根.
下面的一个例子要用到软阈值映射的推广形式——双边软阈值算子: 对 ∀ a , b ∈ ( − ∞ , ∞ ] n \forall\mathbf{a,b}\in(-\infty,\infty]^n ∀a,b∈(−∞,∞]n, 定义 S a , b ( x ) = ( min { max { ∣ x i ∣ − a i , 0 } , b i } s g n ( x i ) ) i = 1 n , ∀ x ∈ R n . \mathcal{S}_{\mathbf{a,b}}(\mathbf{x})=(\min\{\max\{|x_i|-a_i,0\},b_i\}\mathrm{sgn}(x_i))_{i=1}^n,\quad\forall\mathbf{x}\in\mathbb{R}^n. Sa,b(x)=(min{max{∣xi∣−ai,0},bi}sgn(xi))i=1n,∀x∈Rn.函数 t ↦ S 1 , 2 ( t ) t\mapsto\mathcal{S}_{1,2}(t) t↦S1,2(t)的图像可见下图.
软阈值算子是双边软阈值算子的特例:
S
λ
e
,
∞
e
=
T
λ
.
\mathcal{S}_{\lambda\mathbf{e},\infty\mathbf{e}}=\mathcal{T}_{\lambda}.
Sλe,∞e=Tλ.
例15 (到加权 ℓ 1 \ell_1 ℓ1球与盒型区域之交上的正交投影) 设 C ⊂ R n C\subset\mathbb{R}^n C⊂Rn为 C = { x ∈ R n : ∑ i = 1 n ω i ∣ x i ∣ ≤ β , − α ≤ x ≤ α } , C=\left\{\mathbf{x}\in\mathbb{R}^n:\sum_{i=1}^n\omega_i|x_i|\le\beta,\,-\bm{\alpha}\le\mathbf{x}\le\bm{\alpha}\right\}, C={x∈Rn:i=1∑nωi∣xi∣≤β,−α≤x≤α},其中 ω ∈ R + n , α ∈ [ 0 , ∞ ] n , β ∈ R + + \bm{\omega}\in\mathbb{R}_+^n,\,\bm{\alpha}\in[0,\infty]^n,\,\beta\in\mathbb{R}_{++} ω∈R+n,α∈[0,∞]n,β∈R++. 于是 C = L e v ( f , β ) C=\mathrm{Lev}(f,\beta) C=Lev(f,β), 其中 f ( x ) = ω T ∣ x ∣ + δ Box [ − α , α ] ( x ) = { ∑ i = 1 n ω i ∣ x i ∣ , − α ≤ x ≤ α , ∞ , 其 它 , ∀ x ∈ R n . f(\mathbf{x})=\bm{\omega}^T|\mathbf{x}|+\delta_{\text{Box}[-\bm{\alpha},\bm{\alpha}]}(\mathbf{x})=\left\{\begin{array}{ll}\sum_{i=1}^n\omega_i|x_i|, & -\bm{\alpha}\le\mathbf{x}\le\bm{\alpha},\\\infty, & 其它,\end{array}\right.\quad\forall\mathbf{x}\in\mathbb{R}^n. f(x)=ωT∣x∣+δBox[−α,α](x)={∑i=1nωi∣xi∣,∞,−α≤x≤α,其它,∀x∈Rn.由例12, 对 ∀ λ > 0 , x ∈ R n \forall\lambda>0,\,\mathbf{x}\in\mathbb{R}^n ∀λ>0,x∈Rn, p r o x λ f ( x ) = ( min { max { ∣ x i ∣ − λ ω i , 0 } , α i } s g n ( x i ) ) i = 1 n = S λ ω , α ( x ) . \mathrm{prox}_{\lambda f}(\mathbf{x})=(\min\{\max\{|x_i|-\lambda\omega_i,0\},\alpha_i\}\mathrm{sgn}(x_i))_{i=1}^n=\mathcal{S}_{\lambda\bm{\omega},\bm{\alpha}}(\mathbf{x}). proxλf(x)=(min{max{∣xi∣−λωi,0},αi}sgn(xi))i=1n=Sλω,α(x).最后由定理12, P C ( x ) = { P Box [ − α , α ] ( x ) , ω T ∣ P Box [ − α , α ] ( x ) ∣ ≤ β , S λ ∗ ω , α ( x ) , ω T ∣ P Box [ − α , α ] ( x ) ∣ > β , 其 中 λ ∗ 是 函 数 φ ( λ ) = ω T ∣ S λ ω , α ( x ) ∣ − β 的 任 一 正 根 . \boxed{\begin{aligned}P_C(\mathbf{x})&=\left\{\begin{array}{ll}P_{\text{Box}[-\bm{\alpha},\bm{\alpha}]}(\mathbf{x}), & \bm{\omega}^T\left|P_{\text{Box}[-\bm{\alpha},\bm{\alpha}]}(\mathbf{x})\right|\le\beta,\\\mathcal{S}_{\lambda^*\bm{\omega},\bm{\alpha}}(\mathbf{x}), & \bm{\omega}^T\left|P_{\text{Box}[-\bm{\alpha},\bm{\alpha}]}(\mathbf{x})\right|>\beta,\end{array}\right.\\其中\lambda^*是函数\varphi(\lambda)&=\bm{\omega}^T\left|\mathcal{S}_{\lambda\bm{\omega},\bm{\alpha}}(\mathbf{x})\right|-\beta的任一正根.\end{aligned}} PC(x)其中λ∗是函数φ(λ)={PBox[−α,α](x),Sλ∗ω,α(x),ωT∣∣PBox[−α,α](x)∣∣≤β,ωT∣∣PBox[−α,α](x)∣∣>β,=ωT∣Sλω,α(x)∣−β的任一正根.
为说明定理12中对 P d o m ( f ) ( x ) P_{\mathrm{dom}(f)}(\mathbf{x}) Pdom(f)(x)存在性讨论的必要, 下面我们举一个 f f f的有效域非闭的例子.
例16 设 C = { x ∈ R + + n : ∏ i = 1 n x i ≥ α } , C=\{\mathbf{x}\in\mathbb{R}_{++}^n:\prod_{i=1}^nx_i\ge\alpha\}, C={x∈R++n:i=1∏nxi≥α},其中 α > 0 \alpha>0 α>0. 于是 C C C可以写成 C = { x ∈ R + + n : − ∑ i = 1 n log x i ≤ − log α } , C=\left\{\mathbf{x}\in\mathbb{R}_{++}^n:-\sum_{i=1}^n\log x_i\le-\log\alpha\right\}, C={x∈R++n:−i=1∑nlogxi≤−logα},因此 C = L e v ( f , − log α ) C=\mathrm{Lev}(f,-\log\alpha) C=Lev(f,−logα), 其中 f : R n → ( − ∞ , ∞ ] f:\mathbb{R}^n\to(-\infty,\infty] f:Rn→(−∞,∞]是负对数和函数: f ( x ) = { − ∑ i = 1 n log x i , x ∈ R + + n , ∞ , 其 它 . f(\mathbf{x})=\left\{\begin{array}{ll}-\sum_{i=1}^n\log x_i, & \mathbf{x}\in\mathbb{R}_{++}^n,\\\infty, & 其它.\end{array}\right. f(x)={−∑i=1nlogxi,∞,x∈R++n,其它.在例3中我们推出对 ∀ x ∈ R n \forall\mathbf{x}\in\mathbb{R}^n ∀x∈Rn, p r o x λ f ( x ) = ( x j + x j 2 + 4 λ 2 ) j = 1 n . \mathrm{prox}_{\lambda f}(\mathbf{x})=\left(\frac{x_j+\sqrt{x_j^2+4\lambda}}{2}\right)_{j=1}^n. proxλf(x)=⎝⎛2xj+xj2+4λ⎠⎞j=1n.由定理12, 我们就可以得到到 C C C上的正交投影公式. 注意此时若 x ∈ C \mathbf{x}\in C x∈C, 则 P R + + n ( x ) = x P_{\mathbb{R}_{++}^n}(\mathbf{x})=\mathbf{x} PR++n(x)=x且 f ( x ) ≤ − log α f(\mathbf{x})\le-\log\alpha f(x)≤−logα; 若 x ∉ R + + n \mathbf{x}\notin\mathbb{R}_{++}^n x∈/R++n, P R + + n ( x ) P_{\mathbb{R}^n_{++}}(\mathbf{x}) PR++n(x)就不存在. 这时直接有 P C ( x ) = p r o x λ ∗ f ( x ) P_C(\mathbf{x})=\mathrm{prox}_{\lambda^*f}(\mathbf{x}) PC(x)=proxλ∗f(x); 若 x ∈ R + + n \mathbf{x}\in\mathbb{R}_{++}^n x∈R++n但 f ( x ) > − log α f(\mathbf{x})>-\log\alpha f(x)>−logα, 则也有 P C ( x ) = p r o x λ ∗ f ( x ) P_C(\mathbf{x})=\mathrm{prox}_{\lambda^* f}(\mathbf{x}) PC(x)=proxλ∗f(x). 后两种情形合在一起就是 x ∉ C \mathbf{x}\notin C x∈/C. 所以, P C ( x ) = { x , x ∈ C , ( x j + x j 2 + 4 λ ∗ 2 ) j = 1 n , x ∉ C , 其 中 λ ∗ 是 函 数 φ ( λ ) = − ∑ j = 1 n log ( x j + x j 2 + 4 λ 2 ) + log α 的 任 一 正 根 . \boxed{\begin{aligned}P_C(\mathbf{x})&=\left\{\begin{array}{ll}\mathbf{x}, & \mathbf{x}\in C,\\\left(\frac{x_j+\sqrt{x_j^2+4\lambda^*}}{2}\right)_{j=1}^n, & \mathbf{x}\notin C,\end{array}\right. \\其中\lambda^*是函数\varphi(\lambda)&=-\sum_{j=1}^n\log\left(\frac{x_j+\sqrt{x_j^2+4\lambda}}{2}\right)+\log\alpha的任一正根.\end{aligned}} PC(x)其中λ∗是函数φ(λ)=⎩⎨⎧x,(2xj+xj2+4λ∗)j=1n,x∈C,x∈/C,=−j=1∑nlog⎝⎛2xj+xj2+4λ⎠⎞+logα的任一正根.
4.5 到上镜图上的正交投影
由定理12, 我们可以给出到凸函数上镜图的正交投影定理.
定理13 (到上镜图的正交投影) 设 C = e p i ( g ) = { ( x , t ) ∈ E × R : g ( x ) ≤ t } , C=\mathrm{epi}(g)=\{(\mathbf{x},t)\in\mathbb{E}\times\mathbb{R}:g(\mathbf{x})\le t\}, C=epi(g)={(x,t)∈E×R:g(x)≤t},其中 g : E → R g:\mathbb{E}\to\mathbb{R} g:E→R是凸函数. 则 P C ( ( x , s ) ) = { ( x , s ) , g ( x ) ≤ s , ( p r o x λ ∗ g ( x ) , s + λ ∗ ) , g ( x ) > s , P_C((\mathbf{x},s))=\left\{\begin{array}{ll}(\mathbf{x},s), & g(\mathbf{x})\le s,\\\left(\mathrm{prox}_{\lambda^*g}(\mathbf{x}),s+\lambda^*\right), & g(\mathbf{x})>s,\end{array}\right. PC((x,s))={(x,s),(proxλ∗g(x),s+λ∗),g(x)≤s,g(x)>s,其中 λ ∗ \lambda^* λ∗为函数 ψ ( λ ) = g ( p r o x λ g ( x ) ) − λ − s \psi(\lambda)=g(\mathrm{prox}_{\lambda g}(\mathbf{x}))-\lambda-s ψ(λ)=g(proxλg(x))−λ−s的任一正根. 另外, ψ \psi ψ是单调递减函数.
证明: 定义 f : E × R → R f:\mathbb{E}\times\mathbb{R}\to\mathbb{R} f:E×R→R为 f ( x , t ) ≡ g ( x ) − t f(\mathbf{x},t)\equiv g(\mathbf{x})-t f(x,t)≡g(x)−t. 于是, p r o x λ f ( x , s ) = arg min y , t { 1 2 ∥ y − x ∥ 2 + 1 2 ( t − s ) 2 + λ f ( y , t ) } = arg min y , t { 1 2 ∥ y − x ∥ 2 + 1 2 ( t − s ) 2 + λ g ( y ) − λ t } . \begin{aligned}\mathrm{prox}_{\lambda f}(\mathbf{x},s)&=\arg\min_{\mathbf{y},t}\left\{\frac{1}{2}\Vert\mathbf{y-x}\Vert^2+\frac{1}{2}(t-s)^2+\lambda f(\mathbf{y},t)\right\}\\&=\arg\min_{\mathbf{y},t}\left\{\frac{1}{2}\Vert\mathbf{y-x}\Vert^2+\frac{1}{2}(t-s)^2+\lambda g(\mathbf{y})-\lambda t\right\}.\end{aligned} proxλf(x,s)=argy,tmin{21∥y−x∥2+21(t−s)2+λf(y,t)}=argy,tmin{21∥y−x∥2+21(t−s)2+λg(y)−λt}.由于问题可分, 因此 p r o x λ f ( x , s ) = ( arg min y { 1 2 ∥ y − x ∥ 2 + λ g ( y ) } , arg min t { 1 2 ( t − s ) 2 − λ t } ) = ( p r o x λ g ( x ) , p r o x λ h ( s ) ) , \begin{aligned}\mathrm{prox}_{\lambda f}(\mathbf{x},s)&=\left(\arg\min_{\mathbf{y}}\left\{\frac{1}{2}\Vert\mathbf{y-x}\Vert^2+\lambda g(\mathbf{y})\right\},\arg\min_t\left\{\frac{1}{2}(t-s)^2-\lambda t\right\}\right)\\&=\left(\mathrm{prox}_{\lambda g}(\mathbf{x}),\mathrm{prox}_{\lambda h}(s)\right),\end{aligned} proxλf(x,s)=(argymin{21∥y−x∥2+λg(y)},argtmin{21(t−s)2−λt})=(proxλg(x),proxλh(s)),其中 h ( t ) ≡ − t h(t)\equiv-t h(t)≡−t. 由2.2节, p r o x λ h ( z ) = z + λ , ∀ z ∈ R \mathrm{prox}_{\lambda h}(z)=z+\lambda,\,\forall z \in\mathbb{R} proxλh(z)=z+λ,∀z∈R. 于是 p r o x λ f ( x , s ) = ( p r o x λ g ( x ) , s + λ ) . \mathrm{prox}_{\lambda f}(\mathbf{x},s)=\left(\mathrm{prox}_{\lambda g}(\mathbf{x}),s+\lambda\right). proxλf(x,s)=(proxλg(x),s+λ).因为 e p i ( g ) = L e v ( f , 0 ) \mathrm{epi}(g)=\mathrm{Lev}(f,0) epi(g)=Lev(f,0), 于是由定理12(注意到 d o m ( f ) = E \mathrm{dom}(f)=\mathbb{E} dom(f)=E)就有 P C ( ( x , s ) ) = { ( x , s ) , g ( x ) ≤ s , ( p r o x λ ∗ g ( x ) , s + λ ) , g ( x ) > s , P_C\left((\mathbf{x},s)\right)=\left\{\begin{array}{ll}(\mathbf{x},s), & g(\mathbf{x})\le s,\\\left(\mathrm{prox}_{\lambda^*g}(\mathbf{x}),s+\lambda\right), & g(\mathbf{x})>s,\end{array}\right. PC((x,s))={(x,s),(proxλ∗g(x),s+λ),g(x)≤s,g(x)>s,其中 λ ∗ \lambda^* λ∗是函数 ψ ( λ ) = g ( p r o x λ g ( x ) ) − λ − s \psi(\lambda)=g(\mathrm{prox}_{\lambda g}(\mathbf{x}))-\lambda-s ψ(λ)=g(proxλg(x))−λ−s的任一正根, 且 ψ \psi ψ是单调递减函数.
例17 (到Lorentz锥上的正交投影) 考虑Lorentz锥 L n = { ( x , t ) ∈ R n × R : ∥ x ∥ 2 ≤ t } L^n=\{(\mathbf{x},t)\in\mathbb{R}^n\times\mathbb{R}:\Vert\mathbf{x}\Vert_2\le t\} Ln={(x,t)∈Rn×R:∥x∥2≤t}. 下面证明对 ∀ ( x , s ) ∈ R n × R \forall(\mathbf{x},s)\in\mathbb{R}^n\times\mathbb{R} ∀(x,s)∈Rn×R, P L n ( x , s ) = { ( ∥ x ∥ 2 + s 2 ∥ x ∥ 2 x , ∥ x ∥ 2 + s 2 ) , ∥ x ∥ 2 ≥ ∣ s ∣ , ( 0 , 0 ) , s < ∥ x ∥ 2 < − s , ( x , s ) , ∥ x ∥ 2 ≤ s . \boxed{P_{L^n}(\mathbf{x},s)=\left\{\begin{array}{ll}\left(\frac{\Vert\mathbf{x}\Vert_2+s}{2\Vert\mathbf{x}\Vert_2}\mathbf{x},\frac{\Vert\mathbf{x}\Vert_2+s}{2}\right), & \Vert\mathbf{x}\Vert_2\ge|s|,\\(\mathbf{0},0), & s<\Vert\mathbf{x}\Vert_2<-s,\\(\mathbf{x},s), & \Vert\mathbf{x}\Vert_2\le s.\end{array}\right.} PLn(x,s)=⎩⎪⎨⎪⎧(2∥x∥2∥x∥2+sx,2∥x∥2+s),(0,0),(x,s),∥x∥2≥∣s∣,s<∥x∥2<−s,∥x∥2≤s.直接利用定理13即得 P L n ( ( x , s ) ) = { ( x , s ) , ∥ x ∥ 2 ≤ s , ( p r o x λ ∗ ∥ ⋅ ∥ 2 ( x ) , s + λ ∗ ) , ∥ x ∥ 2 > s , P_{L^n}((\mathbf{x},s))=\left\{\begin{array}{ll}(\mathbf{x},s), & \Vert\mathbf{x}\Vert_2\le s,\\\left(\mathrm{prox}_{\lambda^*\Vert\cdot\Vert_2}(\mathbf{x}),s+\lambda^*\right), & \Vert\mathbf{x}\Vert_2>s,\end{array}\right. PLn((x,s))={(x,s),(proxλ∗∥⋅∥2(x),s+λ∗),∥x∥2≤s,∥x∥2>s,其中 λ ∗ \lambda^* λ∗是函数 ψ ( λ ) = ∥ p r o x λ ∥ ⋅ ∥ 2 ( x ) ∥ 2 − λ − s \psi(\lambda)=\Vert\mathrm{prox}_{\lambda\Vert\cdot\Vert_2}(\mathbf{x})\Vert_2-\lambda-s ψ(λ)=∥proxλ∥⋅∥2(x)∥2−λ−s的任一正根. 设 ( x , s ) ∈ R n × R : ∥ x ∥ 2 > s (\mathbf{x},s)\in\mathbb{R}^n\times\mathbb{R}:\Vert\mathbf{x}\Vert_2>s (x,s)∈Rn×R:∥x∥2>s. 由例8, p r o x λ ∥ ⋅ ∥ 2 ( x ) = [ 1 − λ max { ∥ x ∥ 2 , λ } ] x . \mathrm{prox}_{\lambda\Vert\cdot\Vert_2}(\mathbf{x})=\left[1-\frac{\lambda}{\max\{\Vert\mathbf{x}\Vert_2,\lambda\}}\right]\mathbf{x}. proxλ∥⋅∥2(x)=[1−max{∥x∥2,λ}λ]x.将此代入 ψ \psi ψ的表达式中推出 ψ ( λ ) = { ∥ x ∥ 2 − 2 λ − s , λ ≤ ∥ x ∥ 2 , − λ − s , λ ≥ ∥ x ∥ 2 . \psi(\lambda)=\left\{\begin{array}{ll}\Vert\mathbf{x}\Vert_2-2\lambda-s, & \lambda\le\Vert\mathbf{x}\Vert_2,\\-\lambda-s, & \lambda\ge\Vert\mathbf{x}\Vert_2.\end{array}\right. ψ(λ)={∥x∥2−2λ−s,−λ−s,λ≤∥x∥2,λ≥∥x∥2.所以 ψ \psi ψ是个分段线性函数, 其唯一正根为 λ ∗ = { ∥ x ∥ 2 − s 2 , ∥ x ∥ 2 ≥ − s , − s , ∥ x ∥ 2 < − s . \lambda^*=\left\{\begin{array}{ll}\frac{\Vert\mathbf{x}\Vert_2-s}{2}, & \Vert\mathbf{x}\Vert_2\ge-s,\\-s, & \Vert\mathbf{x}\Vert_2<-s.\end{array}\right. λ∗={2∥x∥2−s,−s,∥x∥2≥−s,∥x∥2<−s.因此在 ∥ x ∥ 2 > s \Vert\mathbf{x}\Vert_2>s ∥x∥2>s时, ( p r o x λ ∗ ∥ ⋅ ∥ 2 ( x ) , s + λ ∗ ) = ( [ 1 − λ ∗ max { ∥ x ∥ 2 , λ ∗ } ] x , s + λ ∗ ) = { ( [ 1 − ∥ x ∥ 2 − s 2 ∥ x ∥ 2 ] x , ∥ x ∥ 2 + s 2 ) , ∥ x ∥ 2 ≥ − s , ( 0 , 0 ) , ∥ x ∥ 2 < − s . = { ( ∥ x ∥ 2 + s 2 ∥ x ∥ 2 x , ∥ x ∥ 2 + s 2 ) , ∥ x ∥ ≥ − s , ( 0 , 0 ) , ∥ x ∥ s < − s . \begin{aligned}\left(\mathrm{prox}_{\lambda^*\Vert\cdot\Vert_2}(\mathbf{x}),s+\lambda^*\right)&=\left(\left[1-\frac{\lambda^*}{\max\{\Vert\mathbf{x}\Vert_2,\lambda^*\}}\right]\mathbf{x},s+\lambda^*\right)\\&=\left\{\begin{array}{ll}\left(\left[1-\frac{\Vert\mathbf{x}\Vert_2-s}{2\Vert\mathbf{x}\Vert_2}\right]\mathbf{x},\frac{\Vert\mathbf{x}\Vert_2+s}{2}\right), & \Vert\mathbf{x}\Vert_2\ge-s,\\(\mathbf{0},0), & \Vert\mathbf{x}\Vert_2<-s.\end{array}\right.\\&=\left\{\begin{array}{ll}\left(\frac{\Vert\mathbf{x}\Vert_2+s}{2\Vert\mathbf{x}\Vert_2}\mathbf{x},\frac{\Vert\mathbf{x}\Vert_2+s}{2}\right), & \Vert\mathbf{x}\Vert\ge-s,\\(\mathbf{0},0), & \Vert\mathbf{x}\Vert_s<-s.\end{array}\right.\end{aligned} (proxλ∗∥⋅∥2(x),s+λ∗)=([1−max{∥x∥2,λ∗}λ∗]x,s+λ∗)={([1−2∥x∥2∥x∥2−s]x,2∥x∥2+s),(0,0),∥x∥2≥−s,∥x∥2<−s.={(2∥x∥2∥x∥2+sx,2∥x∥2+s),(0,0),∥x∥≥−s,∥x∥s<−s.最后再注意到 { ( x , s ) : ∥ x ∥ 2 ≥ ∣ s ∣ } = { ( x , s ) : ∥ x ∥ > s , ∥ x ∥ 2 ≥ − s } ∪ { ( x , s ) : ∥ x ∥ 2 = s } \{(\mathbf{x},s):\Vert\mathbf{x}\Vert_2\ge|s|\}=\{(\mathbf{x},s):\Vert\mathbf{x}\Vert>s,\Vert\mathbf{x}\Vert_2\ge-s\}\cup\{(\mathbf{x},s):\Vert\mathbf{x}\Vert_2=s\} {(x,s):∥x∥2≥∣s∣}={(x,s):∥x∥>s,∥x∥2≥−s}∪{(x,s):∥x∥2=s}即可得证.
例18 (到 ℓ 1 \ell_1 ℓ1-范数上镜图上的正交投影) 设 C = { ( y , t ) ∈ R n × R : ∥ y ∥ 1 ≤ t } . C=\{(\mathbf{y},t)\in\mathbb{R}^n\times\mathbb{R}:\Vert\mathbf{y}\Vert_1\le t\}. C={(y,t)∈Rn×R:∥y∥1≤t}.直接由定理13以及对 ∀ λ > 0 \forall\lambda>0 ∀λ>0, 有 p r o x λ ∥ ⋅ ∥ 1 = T λ \mathrm{prox}_{\lambda\Vert\cdot\Vert_1}=\mathcal{T}_{\lambda} proxλ∥⋅∥1=Tλ, 就有 P C ( ( x , s ) ) = { ( x , s ) , ∥ x ∥ 1 ≤ s , ( T λ ∗ ( x ) , s + λ ∗ ) , ∥ x ∥ 1 > s , 其 中 λ ∗ 是 函 数 φ ( λ ) = ∥ T λ ( x ) ∥ 1 − λ − s 的 任 一 正 根 . \boxed{\begin{aligned}P_C((\mathbf{x},s))&=\left\{\begin{array}{ll}(\mathbf{x},s), & \Vert\mathbf{x}\Vert_1\le s,\\\left(\mathcal{T}_{\lambda^*}(\mathbf{x}),s+\lambda^*\right), & \Vert\mathbf{x}\Vert_1>s,\end{array}\right.\\其中\lambda^*是函数\varphi(\lambda)&=\Vert\mathcal{T}_{\lambda}(\mathbf{x})\Vert_1-\lambda-s的任一正根.\end{aligned}} PC((x,s))其中λ∗是函数φ(λ)={(x,s),(Tλ∗(x),s+λ∗),∥x∥1≤s,∥x∥1>s,=∥Tλ(x)∥1−λ−s的任一正根.
4.6 正交投影计算小结
集合 ( C ) (C) (C) | P C ( x ) P_C(\mathbf{x}) PC(x) | 假设条件 | 参考 |
---|---|---|---|
R + n \mathbb{R}_+^n R+n | [ x ] + [\mathbf{x}]_+ [x]+ | - | 引理2 |
Box [ ℓ , u ] \text{Box}[\mathbf{\ell,u}] Box[ℓ,u] | P C ( x ) i = min { max { x i , ℓ i } , u i } P_C(\mathbf{x})_i=\min\{\max\{x_i,\ell_i\},u_i\} PC(x)i=min{max{xi,ℓi},ui} | ℓ i ≤ u i \ell_i\le u_i ℓi≤ui | 引理2 |
B ∥ ⋅ ∥ 2 [ c , r ] B_{\Vert\cdot\Vert_2}[\mathbf{c},r] B∥⋅∥2[c,r] | c + r max { ∥ x − c ∥ 2 , r } ( x − c ) \mathbf{c}+\frac{r}{\max\{\Vert\mathbf{x-c}\Vert_2,r\}}(\mathbf{x-c}) c+max{∥x−c∥2,r}r(x−c) | c ∈ R n , r > 0 \mathbf{c}\in\mathbb{R}^n\,,r>0 c∈Rn,r>0 | 引理2 |
{ x : A x = b } \{\mathbf{x}:\mathbf{Ax=b}\} {x:Ax=b} | x − A T ( A A T ) − 1 ( A x − b ) \mathbf{x}-\mathbf{A}^T\left(\mathbf{AA}^T\right)^{-1}(\mathbf{Ax-b}) x−AT(AAT)−1(Ax−b) | A ∈ R m × n , b ∈ R m , A \mathbf{A}\in\mathbb{R}^{m\times n},\,\mathbf{b}\in\mathbb{R}^m,\,\mathbf{A} A∈Rm×n,b∈Rm,A行满秩 | 引理2 |
{ x : a T x ≤ b } \{\mathbf{x}:\mathbf{a}^T\mathbf{x}\le b\} {x:aTx≤b} | x − [ a T x − b ] + ∥ a ∥ 2 a \mathbf{x}-\frac{[\mathbf{a}^T\mathbf{x}-b]_+}{\Vert\mathbf{a}\Vert^2}\mathbf{a} x−∥a∥2[aTx−b]+a | 0 ≠ a ∈ R n , b ∈ R \mathbf{0}\ne\mathbf{a}\in\mathbb{R}^n,\,b\in\mathbb{R} 0=a∈Rn,b∈R | 引理2 |
Δ n \Delta_n Δn | [ x − μ ∗ e ] + [\mathbf{x}-\mu^*\mathbf{e}]_+ [x−μ∗e]+其中 μ ∗ ∈ R \mu^*\in\mathbb{R} μ∗∈R满足 e T [ x − μ ∗ e ] + = 1 \mathbf{e}^T[\mathbf{x-\mu^*e}]_+=1 eT[x−μ∗e]+=1 | - | 推论1 |
H a , b ∩ Box [ ℓ , u ] H_{\mathbf{a},b}\cap\text{Box}[\mathbf{\ell,u}] Ha,b∩Box[ℓ,u] | P Box [ ℓ , u ] ( x − μ ∗ a ) P_{\text{Box}[\mathbf{\ell},\mathbf{u}]}(\mathbf{x}-\mu^*\mathbf{a}) PBox[ℓ,u](x−μ∗a)其中 μ ∗ ∈ R \mu^*\in\mathbb{R} μ∗∈R满足 a T P Box [ ℓ , u ] ( x − μ a ) = b \mathbf{a}^TP_{\text{Box}[\mathbf{\ell},\mathbf{u}]}(\mathbf{x-\mu a})=b aTPBox[ℓ,u](x−μa)=b | a ∈ R n ∖ { 0 } , b ∈ R \mathbf{a}\in\mathbb{R}^n\setminus\{\mathbf{0}\},\,b\in\mathbb{R} a∈Rn∖{0},b∈R | 定理11 |
H a , b − ∩ Box [ ℓ , u ] H_{\mathbf{a},b}^-\cap\text{Box}[\mathbf{\ell,u}] Ha,b−∩Box[ℓ,u] | { P Box [ ℓ , u ] ( x ) , a T P Box [ ℓ , u ] ( x ) ≤ b , P Box [ ℓ , u ] ( x − λ ∗ a ) , a T P Box [ ℓ , u ] ( x ) > b , \left\{\begin{array}{ll}P_{\text{Box}[\mathbf{\ell,u}]}(\mathbf{x}), & \mathbf{a}^TP_{\text{Box}[\mathbf{\ell,u}]}(\mathbf{x})\le b,\\P_{\text{Box}[\mathbf{\ell,u}]}(\mathbf{x-\lambda^*a}), & \mathbf{a}^TP_{\text{Box}[\mathbf{\ell,u}]}(\mathbf{x})>b,\end{array}\right. {PBox[ℓ,u](x),PBox[ℓ,u](x−λ∗a),aTPBox[ℓ,u](x)≤b,aTPBox[ℓ,u](x)>b,其中 λ ∗ > 0 \lambda^*>0 λ∗>0满足 a T P Box [ ℓ , u ] ( x − λ ∗ a ) = b \mathbf{a}^TP_{\text{Box}[\mathbf{\ell,u}]}(\mathbf{x-\lambda^* a})=b aTPBox[ℓ,u](x−λ∗a)=b | a ∈ R n ∖ { 0 } , b ∈ R \mathbf{a}\in\mathbb{R}^n\setminus\{\mathbf{0}\},\,b\in\mathbb{R} a∈Rn∖{0},b∈R | 例13 |
B ∥ ⋅ ∥ 1 [ 0 , α ] B_{\Vert\cdot\Vert_1}[\mathbf{0},\alpha] B∥⋅∥1[0,α] | { x , ∥ x ∥ 1 ≤ α , T λ ∗ ( x ) , ∥ x ∥ 1 > α , \left\{\begin{array}{ll}\mathbf{x}, & \Vert\mathbf{x}\Vert_1\le\alpha,\\\mathcal{T}_{\lambda^*}(\mathbf{x}), & \Vert\mathbf{x}\Vert_1>\alpha,\end{array}\right. {x,Tλ∗(x),∥x∥1≤α,∥x∥1>α,其中 λ ∗ > 0 \lambda^*>0 λ∗>0满足 ∥ T λ ∗ ( x ) ∥ 1 = α \Vert\mathcal{T}_{\lambda^*}(\mathbf{x})\Vert_1=\alpha ∥Tλ∗(x)∥1=α | α > 0 \alpha>0 α>0 | 例14 |
{ x : ω T a b s ( x ) ≤ β , − α ≤ x ≤ α } \{\mathbf{x}:\bm{\omega}^T\mathrm{abs}(\mathbf{x})\le\beta,\,-\bm{\alpha}\le\mathbf{x}\le\bm{\alpha}\} {x:ωTabs(x)≤β,−α≤x≤α} | { P Box [ − α , α ] ( x ) , ω T a b s ( P Box [ − α , α ] ( x ) ) ≤ β , S λ ∗ ω , α ( x ) , ω T a b s ( P Box [ − α , α ] ( x ) ) > β , \left\{\begin{array}{ll}P_{\text{Box}[-\bm{\alpha},\bm{\alpha}]}(\mathbf{x}), & \bm{\omega}^T\mathrm{abs}\left(P_{\text{Box}[-\bm{\alpha},\bm{\alpha}]}(\mathbf{x})\right)\le\beta,\\\mathcal{S}_{\lambda^*\bm{\omega},\bm{\alpha}}(\mathbf{x}), & \bm{\omega}^T\mathrm{abs}\left(P_{\text{Box}[-\bm{\alpha},\bm{\alpha}]}(\mathbf{x})\right)>\beta,\end{array}\right. {PBox[−α,α](x),Sλ∗ω,α(x),ωTabs(PBox[−α,α](x))≤β,ωTabs(PBox[−α,α](x))>β,其中 λ ∗ > 0 \lambda^*>0 λ∗>0满足 ω T a b s ( S λ ∗ ω , α ( x ) ) = β \bm{\omega}^T\mathrm{abs}\left(\mathcal{S}_{\lambda^*\bm{\omega},\bm{\alpha}}(\mathbf{x})\right)=\beta ωTabs(Sλ∗ω,α(x))=β | ω ∈ R + n , α ∈ [ 0 , ∞ ] n , β ∈ R + + \bm{\omega}\in\mathbb{R}_+^n,\,\bm{\alpha}\in[0,\infty]^n,\,\beta\in\mathbb{R}_{++} ω∈R+n,α∈[0,∞]n,β∈R++ | 例15 |
{ x > 0 : ∏ x i ≥ α } \{\mathbf{x}>\mathbf{0}:\prod x_i\ge\alpha\} {x>0:∏xi≥α} | { x , x ∈ C , ( x j + x j 2 + 4 λ ∗ 2 ) j = 1 n , x ∉ C , \left\{\begin{array}{ll}\mathbf{x}, & \mathbf{x}\in C,\\\left(\frac{x_j+\sqrt{x_j^2+4\lambda^*}}{2}\right)_{j=1}^n, & \mathbf{x}\notin C,\end{array}\right. ⎩⎨⎧x,(2xj+xj2+4λ∗)j=1n,x∈C,x∈/C,其中 λ ∗ > 0 \lambda^*>0 λ∗>0满足 ∑ j = 1 n log ( x j + x j 2 + 4 λ ∗ 2 ) = log α \sum_{j=1}^n\log\left(\frac{x_j+\sqrt{x_j^2+4\lambda^*}}{2}\right)=\log\alpha ∑j=1nlog(2xj+xj2+4λ∗)=logα | α > 0 \alpha>0 α>0 | 例16 |
{ ( x , s ) : ∥ x ∥ 2 ≤ s } \{(\mathbf{x},s):\Vert\mathbf{x}\Vert_2\le s\} {(x,s):∥x∥2≤s} | { ( ∥ x ∥ 2 + s 2 ∥ x ∥ 2 x , ∥ x ∥ 2 + s 2 ) , ∥ x ∥ 2 ≥ a b s ( s ) , ( 0 , 0 ) , s < ∥ x ∥ 2 < − s , ( x , s ) , ∥ x ∥ 2 ≤ s . \left\{\begin{array}{ll}\left(\frac{\Vert\mathbf{x}\Vert_2+s}{2\Vert\mathbf{x}\Vert_2}\mathbf{x},\frac{\Vert\mathbf{x}\Vert_2+s}{2}\right), & \Vert\mathbf{x}\Vert_2\ge\mathrm{abs}(s),\\(\mathbf{0},0), & s<\Vert\mathbf{x}\Vert_2<-s,\\(\mathbf{x},s), & \Vert\mathbf{x}\Vert_2\le s.\end{array}\right. ⎩⎪⎨⎪⎧(2∥x∥2∥x∥2+sx,2∥x∥2+s),(0,0),(x,s),∥x∥2≥abs(s),s<∥x∥2<−s,∥x∥2≤s. | 例17 | |
{ ( x , s ) : ∥ x ∥ 1 ≤ s } \{(\mathbf{x},s):\Vert\mathbf{x}\Vert_1\le s\} {(x,s):∥x∥1≤s} | { ( x , s ) , ∥ x ∥ 1 ≤ s , ( T λ ∗ ( x ) , s + λ ∗ ) , ∥ x ∥ 1 > s , \left\{\begin{array}{ll}(\mathbf{x},s), & \Vert\mathbf{x}\Vert_1\le s,\\\left(\mathcal{T}_{\lambda^*}(\mathbf{x}),s+\lambda^*\right), & \Vert\mathbf{x}\Vert_1>s,\end{array}\right. {(x,s),(Tλ∗(x),s+λ∗),∥x∥1≤s,∥x∥1>s,其中 λ ∗ > 0 \lambda^*>0 λ∗>0满足 ∥ T λ ∗ ( x ) ∥ 1 − λ ∗ − s = 0 \Vert\mathcal{T}_{\lambda^*}(\mathbf{x})\Vert_1-\lambda^*-s=0 ∥Tλ∗(x)∥1−λ∗−s=0 | 例18 |
5. 第二临近定理
我们使用第三章的Fermat最优性条件证明第二临近定理.
定理14 (第二临近定理) 设
f
:
E
→
(
−
∞
,
∞
]
f:\mathbb{E}\to(-\infty,\infty]
f:E→(−∞,∞]为一正常闭凸函数. 则对
∀
x
,
u
∈
E
\forall\mathbf{x,u}\in\mathbb{E}
∀x,u∈E, 下面三件事是等价的:
(i)
u
=
p
r
o
x
f
(
x
)
\mathbf{u}=\mathrm{prox}_f(\mathbf{x})
u=proxf(x);
(ii)
x
−
u
∈
∂
f
(
u
)
\mathbf{x-u}\in\partial f(\mathbf{u})
x−u∈∂f(u);
(iii)
⟨
x
−
u
,
y
−
u
⟩
≤
f
(
y
)
−
f
(
u
)
,
∀
y
∈
E
\langle\mathbf{x-u,y-u}\rangle\le f(\mathbf{y})-f(\mathbf{u}),\,\forall\mathbf{y}\in\mathbb{E}
⟨x−u,y−u⟩≤f(y)−f(u),∀y∈E.
证明: 由定义, u = p r o x f ( x ) \mathbf{u}=\mathrm{prox}_f(\mathbf{x}) u=proxf(x)当且仅当 u \mathbf{u} u为以下问题的最优解: min v { f ( v ) + 1 2 ∥ v − x ∥ 2 } , \min_{\mathbf{v}}\left\{f(\mathbf{v})+\frac{1}{2}\Vert\mathbf{v-x}\Vert^2\right\}, vmin{f(v)+21∥v−x∥2},根据第三章的Fermat最优性条件以及次微分的求和运算(定理15), 这等价于 0 ∈ ∂ f ( u ) + u − x . \mathbf{0}\in\partial f(\mathbf{u})+\mathbf{u-x}. 0∈∂f(u)+u−x.因此(i)(ii)等价. 而由次梯度的定义, 就有(ii)(iii)等价.
第二临近定理的一个直接推论是, 对于一个正常闭凸函数, x = p r o x f ( x ) \mathbf{x}=\mathrm{prox}_f(\mathbf{x}) x=proxf(x)当且仅当 x \mathbf{x} x是 f f f的全局极小点.
推论2 设 f f f为一正常闭凸函数. 则 x \mathbf{x} x为 f f f的全局极小点当且仅当 x = p r o x f ( x ) \mathbf{x}=\mathrm{prox}_f(\mathbf{x}) x=proxf(x).
证明: x \mathbf{x} x为 f f f的全局极小点当且仅当 0 ∈ ∂ f ( x ) \mathbf{0}\in\partial f(\mathbf{x}) 0∈∂f(x), 也即当且仅当 x − x ∈ ∂ f ( x ) \mathbf{x-x}\in\partial f(\mathbf{x}) x−x∈∂f(x). 由第二临近定理中(i)(ii)的等价性, 就等价于 x = p r o x f ( x ) \mathbf{x}=\mathrm{prox}_f(\mathbf{x}) x=proxf(x).
当 f = δ C f=\delta_C f=δC, 其中 C C C为非空闭凸集, 则由第二临近定理中(i)(iii)的等价性就可以推出第二投影定理.
定理15 (第二投影定理) 设
C
⊂
E
C\subset\mathbb{E}
C⊂E为非空闭凸集,
u
∈
C
\mathbf{u}\in C
u∈C. 则
u
=
P
C
(
x
)
\mathbf{u}=P_C(\mathbf{x})
u=PC(x)当且仅当
⟨
x
−
u
,
y
−
u
⟩
≤
0
,
∀
y
∈
C
.
\langle\mathbf{x-u,y-u}\rangle\le0,\quad\forall\mathbf{y}\in C.
⟨x−u,y−u⟩≤0,∀y∈C.
这就是说,
u
\mathbf{u}
u是
x
\mathbf{x}
x在
C
C
C中的投影当且仅当
x
−
u
\mathbf{x-u}
x−u与所有的
y
−
u
,
y
∈
C
\mathbf{y-u},\,\mathbf{y}\in C
y−u,y∈C都成钝角.
第二临近定理的另一个直接推论是临近算子的严格非增大性. 它的特例是第五章的定理1.
定理16 (临近算子的严格非增大性) 设
f
f
f为正常闭凸函数. 则对
∀
x
,
y
∈
E
\forall\mathbf{x,y}\in\mathbb{E}
∀x,y∈E,
(i) (严格非增大性)
⟨
x
−
y
,
p
r
o
x
f
(
x
)
−
p
r
o
x
f
(
y
)
⟩
≥
∥
p
r
o
x
f
(
x
)
−
p
r
o
x
f
(
y
)
∥
2
;
\langle\mathbf{x-y},\mathrm{prox}_f(\mathbf{x})-\mathrm{prox}_f(\mathbf{y})\rangle\ge\Vert\mathrm{prox}_f(\mathbf{x})-\mathrm{prox}_f(\mathbf{y})\Vert^2;
⟨x−y,proxf(x)−proxf(y)⟩≥∥proxf(x)−proxf(y)∥2;(ii) (非增大性)
∥
p
r
o
x
f
(
x
)
−
p
r
o
x
f
(
y
)
∥
≤
∥
x
−
y
∥
.
\Vert\mathrm{prox}_f(\mathbf{x})-\mathrm{prox}_f(\mathbf{y})\Vert\le\Vert\mathbf{x-y}\Vert.
∥proxf(x)−proxf(y)∥≤∥x−y∥.
证明: (i) 记 u = p r o x f ( x ) , v = p r o x f ( y ) \mathbf{u}=\mathrm{prox}_f(\mathbf{x}),\,\mathbf{v}=\mathrm{prox}_f(\mathbf{y}) u=proxf(x),v=proxf(y). 由第二临近定理中的(i)(ii)的等价性, x − u ∈ ∂ f ( u ) , y − v ∈ ∂ f ( v ) . \mathbf{x-u}\in\partial f(\mathbf{u}),\,\mathbf{y-v}\in\partial f(\mathbf{v}). x−u∈∂f(u),y−v∈∂f(v).由次梯度不等式, f ( v ) ≥ f ( u ) + ⟨ x − u , v − u ⟩ , f ( u ) ≥ f ( v ) + ⟨ y − v , u − v ⟩ . \begin{aligned}f(\mathbf{v})&\ge f(\mathbf{u})+\langle\mathbf{x-u,v-u}\rangle,\\f(\mathbf{u})&\ge f(\mathbf{v})+\langle\mathbf{y-v,u-v}\rangle.\end{aligned} f(v)f(u)≥f(u)+⟨x−u,v−u⟩,≥f(v)+⟨y−v,u−v⟩.二者相加可得 0 ≥ ⟨ y − x + u − v , u − v ⟩ ⇒ ⟨ x − y , u − v ⟩ ≥ ∥ u − v ∥ 2 , 0\ge\langle\mathbf{y-x+u-v,u-v}\rangle\Rightarrow\langle\mathbf{x-y,u-v}\rangle\ge\Vert\mathbf{u-v}\Vert^2, 0≥⟨y−x+u−v,u−v⟩⇒⟨x−y,u−v⟩≥∥u−v∥2,此即 ⟨ x − y , p r o x f ( x ) − p r o x f ( y ) ⟩ ≥ ∥ p r o x f ( x ) − p r o x f ( y ) ∥ 2 . \langle\mathbf{x-y},\mathrm{prox}_f(\mathbf{x})-\mathrm{prox}_f(\mathbf{y})\rangle\ge\Vert\mathrm{prox}_f(\mathbf{x})-\mathrm{prox}_f(\mathbf{y})\Vert^2. ⟨x−y,proxf(x)−proxf(y)⟩≥∥proxf(x)−proxf(y)∥2.
(ii) 若 p r o x f ( x ) = p r o x f ( y ) \mathrm{prox}_f(\mathbf{x})=\mathrm{prox}_f(\mathbf{y}) proxf(x)=proxf(y), 结论显然成立. 现假设 p r o x f ( x ) ≠ p r o x f ( y ) \mathrm{prox}_f(\mathbf{x})\ne\mathrm{prox}_f(\mathbf{y}) proxf(x)=proxf(y). 由(i)与Cauchy-Schwarz不等式, 就有 ∥ p r o f f ( x ) − p r o x f ( y ) ∥ 2 ≤ ⟨ p r o x f ( x ) − p r o x f ( y ) , x − y ⟩ ≤ ∥ p r o x f ( x ) − p r o x f ( y ) ∥ ⋅ ∥ x − y ∥ . \begin{aligned}\Vert\mathrm{prof}_f(\mathbf{x})-\mathrm{prox}_f(\mathbf{y})\Vert^2&\le\langle\mathrm{prox}_f(\mathbf{x})-\mathrm{prox}_f(\mathbf{y}),\mathbf{x-y}\rangle\\&\le\Vert\mathrm{prox}_f(\mathbf{x})-\mathrm{prox}_f(\mathbf{y})\Vert\cdot\Vert\mathbf{x-y}\Vert.\end{aligned} ∥proff(x)−proxf(y)∥2≤⟨proxf(x)−proxf(y),x−y⟩≤∥proxf(x)−proxf(y)∥⋅∥x−y∥.两边同除 ∥ p r o x f ( x ) − p r o x f ( y ) ∥ \Vert\mathrm{prox}_f(\mathbf{x})-\mathrm{prox}_f(\mathbf{y})\Vert ∥proxf(x)−proxf(y)∥即得证.
下面的引理讨论如何计算到一个非空闭凸集合的距离函数的prox. 引理的证明要用到第二临近定理和第二投影定理.
引理3 (距离函数的prox) 设
C
⊂
E
C\subset\mathbb{E}
C⊂E为一非空闭凸集,
λ
>
0
\lambda>0
λ>0. 则对
∀
x
∈
E
\forall\mathbf{x}\in\mathbb{E}
∀x∈E,
p
r
o
x
λ
d
C
(
x
)
=
{
(
1
−
θ
)
x
+
θ
P
C
(
x
)
,
d
C
(
x
)
>
λ
,
P
C
(
x
)
,
d
C
(
x
)
≤
λ
,
\mathrm{prox}_{\lambda d_C}(\mathbf{x})=\left\{\begin{array}{ll}(1-\theta)\mathbf{x}+\theta P_C(\mathbf{x}), & d_C(\mathbf{x})>\lambda,\\P_C(\mathbf{x}), & d_C(\mathbf{x})\le\lambda,\end{array}\right.
proxλdC(x)={(1−θ)x+θPC(x),PC(x),dC(x)>λ,dC(x)≤λ,其中8
θ
=
λ
d
C
(
x
)
.
\theta=\frac{\lambda}{d_C(\mathbf{x})}.
θ=dC(x)λ.
证明: 设
u
=
p
r
o
x
λ
d
C
(
x
)
\mathbf{u}=\mathrm{prox}_{\lambda d_C}(\mathbf{x})
u=proxλdC(x). 由第二临近定理,
x
−
u
∈
λ
∂
d
C
(
u
)
.
\mathbf{x-u}\in\lambda\partial d_C(\mathbf{u}).
x−u∈λ∂dC(u).下面分两种情况讨论.
- 情形一: u ∉ C \mathbf{u}\notin C u∈/C. 根据第三章例16, 就有 x − u = λ u − P C ( u ) d C ( u ) . \mathbf{x-u}=\lambda\frac{\mathbf{u}-P_C(\mathbf{u})}{d_C(\mathbf{u})}. x−u=λdC(u)u−PC(u).记 α = λ d C ( u ) \alpha=\frac{\lambda}{d_C(\mathbf{u})} α=dC(u)λ, 于是 u = 1 α + 1 x + α α + 1 P C ( u ) \mathbf{u}=\frac{1}{\alpha+1}\mathbf{x}+\frac{\alpha}{\alpha+1}P_C(\mathbf{u}) u=α+11x+α+1αPC(u)或者 x − P C ( u ) = ( α + 1 ) ( u − P C ( u ) ) . \mathbf{x}-P_C(\mathbf{u})=(\alpha+1)(\mathbf{u}-P_C(\mathbf{u})). x−PC(u)=(α+1)(u−PC(u)).由第二投影定理, P C ( u ) = P C ( x ) P_C(\mathbf{u})=P_C(\mathbf{x}) PC(u)=PC(x)当且仅当 ⟨ x − P C ( u ) , y − P C ( u ) ⟩ ≤ 0 , ∀ y ∈ C . \langle\mathbf{x}-P_C(\mathbf{u}),\mathbf{y}-P_C(\mathbf{u})\rangle\le0,\quad\forall\mathbf{y}\in C. ⟨x−PC(u),y−PC(u)⟩≤0,∀y∈C.代入 x − P C ( u ) \mathbf{x}-P_C(\mathbf{u}) x−PC(u), 就等价于 ( α + 1 ) ⟨ u − P C ( u ) , y − P C ( u ) ⟩ ≤ 0 , ∀ y ∈ C , (\alpha+1)\langle\mathbf{u}-P_C(\mathbf{u}),\mathbf{y}-P_C(\mathbf{u})\rangle\le0,\quad\forall\mathbf{y}\in C, (α+1)⟨u−PC(u),y−PC(u)⟩≤0,∀y∈C,而由第二投影定理, 这个不等式是成立的. 因此 P C ( u ) = P C ( x ) P_C(\mathbf{u})=P_C(\mathbf{x}) PC(u)=PC(x). 所以 d C ( x ) = ∥ x − P C ( x ) ∥ = ∥ x − P C ( u ) ∥ = ( α + 1 ) ∥ u − P C ( u ) ∥ = ( α + 1 ) d C ( u ) = d C ( u ) + λ ( > λ ) , d_C(\mathbf{x})=\Vert\mathbf{x}-P_C(\mathbf{x})\Vert=\Vert\mathbf{x}-P_C(\mathbf{u})\Vert=(\alpha+1)\Vert\mathbf{u}-P_C(\mathbf{u})\Vert=(\alpha+1)d_C(\mathbf{u})=d_C(\mathbf{u})+\lambda(>\lambda), dC(x)=∥x−PC(x)∥=∥x−PC(u)∥=(α+1)∥u−PC(u)∥=(α+1)dC(u)=dC(u)+λ(>λ),且有 1 α + 1 = d C ( u ) λ + d C ( u ) = d C ( x ) − λ d C ( x ) = 1 − θ . \frac{1}{\alpha+1}=\frac{d_C(\mathbf{u})}{\lambda+d_C(\mathbf{u})}=\frac{d_C(\mathbf{x})-\lambda}{d_C(\mathbf{x})}=1-\theta. α+11=λ+dC(u)dC(u)=dC(x)dC(x)−λ=1−θ.于是 p r o x λ d C ( x ) = ( 1 − θ ) x + θ P C ( x ) . \mathrm{prox}_{\lambda d_C}(\mathbf{x})=(1-\theta)\mathbf{x}+\theta P_C(\mathbf{x}). proxλdC(x)=(1−θ)x+θPC(x).
- 情形二:
u
∈
C
\mathbf{u}\in C
u∈C. 下证
u
=
P
C
(
x
)
\mathbf{u}=P_C(\mathbf{x})
u=PC(x). 为此, 设
v
∈
C
\mathbf{v}\in C
v∈C. 由于
u
=
p
r
o
x
λ
d
C
(
x
)
\mathbf{u}=\mathrm{prox}_{\lambda d_C}(\mathbf{x})
u=proxλdC(x), 所以
λ
d
C
(
u
)
+
1
2
∥
u
−
x
∥
2
≤
λ
d
C
(
v
)
+
1
2
∥
v
−
x
∥
2
,
\lambda d_C(\mathbf{u})+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\le\lambda d_C(\mathbf{v})+\frac{1}{2}\Vert\mathbf{v-x}\Vert^2,
λdC(u)+21∥u−x∥2≤λdC(v)+21∥v−x∥2,因为
d
C
(
u
)
=
d
C
(
v
)
=
0
d_C(\mathbf{u})=d_C(\mathbf{v})=0
dC(u)=dC(v)=0, 进一步有
∥
u
−
x
∥
≤
∥
v
−
x
∥
.
\Vert\mathbf{u-x}\Vert\le\Vert\mathbf{v-x}\Vert.
∥u−x∥≤∥v−x∥.因此,
u
=
arg
min
v
∈
C
∥
v
−
x
∥
=
P
C
(
x
)
.
\mathbf{u}=\arg\min_{\mathbf{v}\in C}\Vert\mathbf{v-x}\Vert=P_C(\mathbf{x}).
u=argv∈Cmin∥v−x∥=PC(x).同样根据第三章例16, 此时最优性条件变为
x
−
P
C
(
x
)
λ
∈
N
C
(
u
)
∩
B
[
0
,
1
]
,
\frac{\mathbf{x}-P_C(\mathbf{x})}{\lambda}\in N_C(\mathbf{u})\cap B[\mathbf{0},1],
λx−PC(x)∈NC(u)∩B[0,1],特别地,
∥
x
−
P
C
(
x
)
λ
∥
≤
1
⇒
d
C
(
x
)
=
∥
P
C
(
x
)
−
x
∥
≤
λ
.
\left\Vert\frac{\mathbf{x}-P_C(\mathbf{x})}{\lambda}\right\Vert\le1\Rightarrow d_C(\mathbf{x})=\Vert P_C(\mathbf{x})-\mathbf{x}\Vert\le\lambda.
∥∥∥∥λx−PC(x)∥∥∥∥≤1⇒dC(x)=∥PC(x)−x∥≤λ.
由于情形一、二分别对应 d C ( x ) > λ , d C ( x ) ≤ λ d_C(\mathbf{x})>\lambda,d_C(\mathbf{x})\le\lambda dC(x)>λ,dC(x)≤λ, 因此得证.
6. Moreau分解
临近算子的一个重要性质是Moreau分解定理. 该定理将正常闭凸函数的临近算子和它们共轭函数的临近算子联结起来了.
定理17 (Moreau分解) 设
f
:
E
→
(
−
∞
,
∞
]
f:\mathbb{E}\to(-\infty,\infty]
f:E→(−∞,∞]为正常闭凸函数. 则对
∀
x
∈
E
\forall\mathbf{x}\in\mathbb{E}
∀x∈E,
p
r
o
x
f
(
x
)
+
p
r
o
x
f
∗
(
x
)
=
x
.
\mathrm{prox}_f(\mathbf{x})+\mathrm{prox}_{f^*}(\mathbf{x})=\mathbf{x}.
proxf(x)+proxf∗(x)=x.
证明: 设
x
∈
E
\mathbf{x}\in\mathbb{E}
x∈E, 记
u
=
p
r
o
x
f
(
x
)
\mathbf{u}=\mathrm{prox}_f(\mathbf{x})
u=proxf(x). 由第二临近定理,
x
−
u
∈
∂
f
(
u
)
\mathbf{x-u}\in\partial f(\mathbf{u})
x−u∈∂f(u); 再由共轭次梯度定理, 这等价于
u
∈
∂
f
∗
(
x
−
u
)
\mathbf{u}\in\partial f^*(\mathbf{x-u})
u∈∂f∗(x−u). 再次由第二临近定理,
x
−
u
=
p
r
o
x
f
∗
(
x
)
\mathbf{x-u}=\mathrm{prox}_{f^*}(\mathbf{x})
x−u=proxf∗(x). 因此,
p
r
o
x
f
(
x
)
+
p
r
o
x
f
∗
(
x
)
=
u
+
(
x
−
u
)
=
x
.
\mathrm{prox}_f(\mathbf{x})+\mathrm{prox}_{f^*}(\mathbf{x})=\mathbf{u}+(\mathbf{x-u})=\mathbf{x}.
proxf(x)+proxf∗(x)=u+(x−u)=x.
定理18 (推广的Moreau分解) 设 f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f:E→(−∞,∞]为正常闭凸函数, λ > 0 \lambda>0 λ>0. 则对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, p r o x λ f ( x ) + λ p r o x λ − 1 f ∗ ( x / λ ) = x . \mathrm{prox}_{\lambda f}(\mathbf{x})+\lambda\mathrm{prox}_{\lambda^{-1}f^*}(\mathbf{x}/\lambda)=\mathbf{x}. proxλf(x)+λproxλ−1f∗(x/λ)=x.
证明: 由Moreau分解, 对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, p r o x λ f ( x ) = x − p r o x ( λ f ) ∗ ( x ) = 第 四 章 定 理 7 x − p r o x λ f ∗ ( ⋅ / λ ) ( x ) . \mathrm{prox}_{\lambda f}(\mathbf{x})=\mathbf{x}-\mathrm{prox}_{(\lambda f)^*}(\mathbf{x})\overset{第四章定理7}{=}\mathbf{x}-\mathrm{prox}_{\lambda f^*(\cdot/\lambda)}(\mathbf{x}). proxλf(x)=x−prox(λf)∗(x)=第四章定理7x−proxλf∗(⋅/λ)(x).由定理5, p r o x λ f ∗ ( ⋅ / λ ) ( x ) = λ p r o x λ − 1 f ∗ ( x / λ ) . \mathrm{prox}_{\lambda f^*(\cdot/\lambda)}(\mathbf{x})=\lambda\mathrm{prox}_{\lambda^{-1}f^*}(\mathbf{x}/\lambda). proxλf∗(⋅/λ)(x)=λproxλ−1f∗(x/λ).结合上式, 即得证.
6.1 支撑函数
利用Moreau分解, 我们可推导出计算给定非空闭凸集的支撑函数的prox公式.
定理19 (支撑函数的prox) 设 C ⊂ E C\subset\mathbb{E} C⊂E为非空闭凸集, λ > 0 \lambda>0 λ>0. 则对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, p r o x λ σ C ( x ) = x − λ P C ( x / λ ) . \mathrm{prox}_{\lambda\sigma_C}(\mathbf{x})=\mathbf{x}-\lambda P_C(\mathbf{x}/\lambda). proxλσC(x)=x−λPC(x/λ).
证明: 注意到 ( σ C ) ∗ = δ C (\sigma_C)^*=\delta_C (σC)∗=δC(第四章例3), 直接应用推广的Moreau分解即可.
例19 (范数的prox) 设 f : E → R f:\mathbb{E}\to\mathbb{R} f:E→R定义为 f ( x ) = λ ∥ x ∥ α f(\mathbf{x})=\lambda\Vert\mathbf{x}\Vert_{\alpha} f(x)=λ∥x∥α, 其中 λ > 0 \lambda>0 λ>0, ∥ ⋅ ∥ α \Vert\cdot\Vert_{\alpha} ∥⋅∥α是 E \mathbb{E} E上的任一范数. 根据第二章例12, 我们知道 ∥ x ∥ α = σ C ( x ) , \Vert\mathbf{x}\Vert_{\alpha}=\sigma_C(\mathbf{x}), ∥x∥α=σC(x),其中 C = B ∥ ⋅ ∥ α , ∗ [ 0 , 1 ] = { x ∈ E : ∥ x ∥ α , ∗ ≤ 1 } , C=B_{\Vert\cdot\Vert_{\alpha,*}}[\mathbf{0},1]=\{\mathbf{x}\in\mathbb{E}:\Vert\mathbf{x}\Vert_{\alpha,*}\le1\}, C=B∥⋅∥α,∗[0,1]={x∈E:∥x∥α,∗≤1}, ∥ ⋅ ∥ α , ∗ \Vert\cdot\Vert_{\alpha,*} ∥⋅∥α,∗为 ∥ ⋅ ∥ α \Vert\cdot\Vert_{\alpha} ∥⋅∥α的对偶范数. 由定理19, 就有 p r o x λ ∥ ⋅ ∥ α ( x ) = x − λ P B ∥ ⋅ ∥ α , ∗ [ 0 , 1 ] ( x / λ ) . \boxed{\mathrm{prox}_{\lambda\Vert\cdot\Vert_{\alpha}}(\mathbf{x})=\mathbf{x}-\lambda P_{B_{\Vert\cdot\Vert_{\alpha,*}}[\mathbf{0},1]}(\mathbf{x}/\lambda).} proxλ∥⋅∥α(x)=x−λPB∥⋅∥α,∗[0,1](x/λ).
例20 ( ℓ ∞ \ell_{\infty} ℓ∞-范数的prox) 直接由例19, 对 ∀ λ > 0 , x ∈ R n \forall\lambda>0,\,\mathbf{x}\in\mathbb{R}^n ∀λ>0,x∈Rn, p r o x λ ∥ ⋅ ∥ ∞ ( x ) = x − λ P B ∥ ⋅ ∥ 1 [ 0 , 1 ] ( x / λ ) . \boxed{\mathrm{prox}_{\lambda\Vert\cdot\Vert_{\infty}}(\mathbf{x})=\mathbf{x}-\lambda P_{B_{\Vert\cdot\Vert_1}[\mathbf{0},1]}(\mathbf{x}/\lambda).} proxλ∥⋅∥∞(x)=x−λPB∥⋅∥1[0,1](x/λ).由例14, 到 ℓ 1 \ell_1 ℓ1球上的正交投影可通过求一单调递减一维函数的根得到.
例21 (极大函数的prox) 考虑极大函数 g : R n → R g:\mathbb{R}^n\to\mathbb{R} g:Rn→R定义为 g ( x ) = max ( x ) ≡ max { x 1 , x 2 , … , x n } g(\mathbf{x})=\max(\mathbf{x})\equiv\max\{x_1,x_2,\ldots,x_n\} g(x)=max(x)≡max{x1,x2,…,xn}. 根据第二章例7, max ( x ) = σ Δ n ( x ) . \max(\mathbf{x})=\sigma_{\Delta_n}(\mathbf{x}). max(x)=σΔn(x).因此由定理19, 对 ∀ λ > 0 , x ∈ R n \forall\lambda>0,\,\mathbf{x}\in\mathbb{R}^n ∀λ>0,x∈Rn, p r o x λ max ( ⋅ ) ( x ) = x − λ P Δ n ( x / λ ) . \boxed{\mathrm{prox}_{\lambda\max(\cdot)}(\mathbf{x})=\mathbf{x}-\lambda P_{\Delta_n}(\mathbf{x}/\lambda).} proxλmax(⋅)(x)=x−λPΔn(x/λ).到单位单纯形上的正交投影计算可见推论1.
例22 (前 k k k个最大分量求和函数的prox) 设 f : R n → R f:\mathbb{R}^n\to\mathbb{R} f:Rn→R定义为 f ( x ) = x [ 1 ] + x [ 2 ] + ⋯ + x [ k ] , f(\mathbf{x})=x_{[1]}+x_{[2]}+\cdots+x_{[k]}, f(x)=x[1]+x[2]+⋯+x[k],其中 k ∈ { 1 , 2 , … , n } k\in\{1,2,\ldots,n\} k∈{1,2,…,n}; 对 ∀ i \forall i ∀i, x [ i ] x_{[i]} x[i]表示 x \mathbf{x} x分量中第 i i i大的分量. 不难证明, f = σ C f=\sigma_C f=σC, 其中 C = { y ∈ R n : e T y = k , 0 ≤ y ≤ e } . C=\{\mathbf{y}\in\mathbb{R}^n:\mathbf{e}^T\mathbf{y}=k,\,\mathbf{0}\le\mathbf{y}\le\mathbf{e}\}. C={y∈Rn:eTy=k,0≤y≤e}.事实上, 对 ∀ x ∈ R n , y ∈ C \forall\mathbf{x}\in\mathbb{R}^n,\,\mathbf{y}\in C ∀x∈Rn,y∈C, ∑ i = 1 n x i y i = ∑ i = 1 k x [ i ] y [ i ] + ∑ i = k + 1 n x [ i ] y [ i ] = ∑ i = 1 k x [ i ] y [ i ] + ∑ i = k + 1 n y [ i ] [ ∑ i = k + 1 n x [ i ] ( y [ i ] ∑ j = k + 1 n y [ j ] ) ] ≤ ∑ i = 1 k x [ i ] y [ i ] + ∑ i = k + 1 n y [ i ] x [ k + 1 ] = k [ ∑ i = 1 k x [ i ] ( 1 k y [ i ] ) + t k x [ k + 1 ] ] ( 记 ∑ i = k + 1 n y [ i ] ≜ t , 则 ∑ i = 1 k y [ i ] = k − t ) . \begin{aligned}\sum_{i=1}^nx_iy_i&=\sum_{i=1}^kx_{[i]}y_{[i]}+\sum_{i=k+1}^nx_{[i]}y_{[i]}\\&=\sum_{i=1}^kx_{[i]}y_{[i]}+\sum_{i=k+1}^ny_{[i]}\left[\sum_{i=k+1}^nx_{[i]}\left(\frac{y_{[i]}}{\sum_{j=k+1}^ny_{[j]}}\right)\right]\\&\le\sum_{i=1}^kx_{[i]}y_{[i]}+\sum_{i=k+1}^ny_{[i]}x_{[k+1]}\\&=k\left[\sum_{i=1}^kx_{[i]}\left(\frac{1}{k}y_{[i]}\right)+\frac{t}{k}x_{[k+1]}\right]\left(记\sum_{i=k+1}^ny_{[i]}\triangleq t, 则\sum_{i=1}^ky_{[i]}=k-t\right).\end{aligned} i=1∑nxiyi=i=1∑kx[i]y[i]+i=k+1∑nx[i]y[i]=i=1∑kx[i]y[i]+i=k+1∑ny[i][i=k+1∑nx[i](∑j=k+1ny[j]y[i])]≤i=1∑kx[i]y[i]+i=k+1∑ny[i]x[k+1]=k[i=1∑kx[i](k1y[i])+ktx[k+1]](记i=k+1∑ny[i]≜t,则i=1∑ky[i]=k−t).下证对 ∀ t ∈ [ 0 , 1 ] \forall t\in[0,1] ∀t∈[0,1], ∑ i = 1 k x [ i ] ( 1 k y [ i ] ) + t k x [ k + 1 ] ≤ 1 k ∑ i = 1 k x [ i ] , \sum_{i=1}^kx_{[i]}\left(\frac{1}{k}y_{[i]}\right)+\frac{t}{k}x_{[k+1]}\le\frac{1}{k}\sum_{i=1}^kx_{[i]}, i=1∑kx[i](k1y[i])+ktx[k+1]≤k1i=1∑kx[i],从而完成了证明. 而 ∑ i = 1 k x [ i ] 1 − y [ i ] k ≥ y [ i ] ≤ 1 x [ k ] ( 1 − 1 + t k ) ≥ t k x [ k + 1 ] . \sum_{i=1}^kx_{[i]}\frac{1-y_{[i]}}{k}\overset{y_{[i]}\le 1}{\ge}x_{[k]}\left(1-1+\frac{t}{k}\right)\ge\frac{t}{k}x_{[k+1]}. i=1∑kx[i]k1−y[i]≥y[i]≤1x[k](1−1+kt)≥ktx[k+1].移项后即得证. 所以 σ C ( x ) = max y ∈ C ⟨ y , x ⟩ ≤ 1 k ∑ i = 1 k x [ i ] . \sigma_C(\mathbf{x})=\max_{\mathbf{y}\in C}\langle\mathbf{y,x}\rangle\le\frac{1}{k}\sum_{i=1}^kx_{[i]}. σC(x)=y∈Cmax⟨y,x⟩≤k1i=1∑kx[i].而右端上界显然可以取到. 所以不等号变等号, σ C = f \sigma_C=f σC=f. 因此由定理19, 对 ∀ x ∈ R n \forall\mathbf{x}\in\mathbb{R}^n ∀x∈Rn, p r o x λ f ( x ) = x − λ P { y : e T y = k , 0 ≤ y ≤ e } ( x / λ ) . \boxed{\mathrm{prox}_{\lambda f}(\mathbf{x})=\mathbf{x}-\lambda P_{\{\mathbf{y}:\mathbf{e}^T\mathbf{y}=k,\,\mathbf{0\le y\le e}\}}(\mathbf{x}/\lambda).} proxλf(x)=x−λP{y:eTy=k,0≤y≤e}(x/λ).其中正交投影的计算可见定理11.
例23 (前 k k k个模最大分量求和函数的prox) 设 f : R n → R f:\mathbb{R}^n\to\mathbb{R} f:Rn→R定义为 f ( x ) = ∑ i = 1 k ∣ x ⟨ i ⟩ ∣ , f(\mathbf{x})=\sum_{i=1}^k\left|x_{\langle i\rangle}\right|, f(x)=i=1∑k∣∣x⟨i⟩∣∣,其中 k ∈ { 1 , 2 , … , n } k\in\{1,2,\ldots,n\} k∈{1,2,…,n}, x ⟨ i ⟩ x_{\langle i\rangle} x⟨i⟩是 x \mathbf{x} x分量中模第 i i i大的分量. 类似于例22, 可以证明 f ( x ) = max { ∑ i = 1 n z i x i : ∥ z ∥ 1 ≤ k , − e ≤ z ≤ e } . f(\mathbf{x})=\max\left\{\sum_{i=1}^nz_ix_i:\Vert\mathbf{z}\Vert_1\le k,\,\mathbf{-e\le z\le e}\right\}. f(x)=max{i=1∑nzixi:∥z∥1≤k,−e≤z≤e}.因此 f = σ C f=\sigma_C f=σC, 其中 C = { z ∈ R n : ∥ z ∥ 1 ≤ k , − e ≤ z ≤ e } . C=\{\mathbf{z}\in\mathbb{R}^n:\Vert\mathbf{z}\Vert_1\le k,\,\mathbf{-e\le z\le e}\}. C={z∈Rn:∥z∥1≤k,−e≤z≤e}.因此由定理19, 对 ∀ x ∈ R n \forall\mathbf{x}\in\mathbb{R}^n ∀x∈Rn, p r o x λ f ( x ) = x − λ P { y : ∥ y ∥ 1 ≤ k , − e ≤ y ≤ e } ( x / λ ) . \boxed{\mathrm{prox}_{\lambda f}(\mathbf{x})=\mathbf{x}-\lambda P_{\{\mathbf{y}:\Vert\mathbf{y}\Vert_1\le k,\,\mathbf{-e\le y\le e}\}}(\mathbf{x}/\lambda).} proxλf(x)=x−λP{y:∥y∥1≤k,−e≤y≤e}(x/λ).其中正交投影的计算可见例15.
7. Moreau包络
7.1 定义与基本性质
定义2 (Moreau包络) 给定正常闭凸函数 f : E → ( − ∞ , ∞ ] , μ > 0 f:\mathbb{E}\to(-\infty,\infty],\,\mu>0 f:E→(−∞,∞],μ>0, f f f的Moreau包络是函数 M f μ ( x ) = min u ∈ E { f ( u ) + 1 2 μ ∥ x − u ∥ 2 } . M_f^{\mu}(\mathbf{x})=\min_{\mathbf{u}\in\mathbb{E}}\left\{f(\mathbf{u})+\frac{1}{2\mu}\Vert\mathbf{x-u}\Vert^2\right\}. Mfμ(x)=u∈Emin{f(u)+2μ1∥x−u∥2}.这里 μ \mu μ称作光滑参数(smoothing parameter)9. 在下一小节我们会给出关于这一术语的解释. 由第一临近定理, Moreau包络定义中的极小化问题有唯一解, 即 p r o x μ f ( x ) \mathrm{prox}_{\mu f}(\mathbf{x}) proxμf(x). 因此 M f μ ( x ) M_f^{\mu}(\mathbf{x}) Mfμ(x)总是一个实数: M f μ ( x ) = f ( p r o x μ f ( x ) ) + 1 2 μ ∥ x − p r o x μ f ( x ) ∥ 2 . M_f^{\mu}(\mathbf{x})=f(\mathrm{prox}_{\mu f}(\mathbf{x}))+\frac{1}{2\mu}\Vert\mathbf{x}-\mathrm{prox}_{\mu f}(\mathbf{x})\Vert^2. Mfμ(x)=f(proxμf(x))+2μ1∥x−proxμf(x)∥2.
例24 (指示函数的Moreau包络) 设 f = δ C f=\delta_C f=δC, 其中 C ⊂ E C\subset\mathbb{E} C⊂E为一非空闭凸集. 于是 p r o x μ f ( x ) = P C ( x ) \mathrm{prox}_{\mu f}(\mathbf{x})=P_C(\mathbf{x}) proxμf(x)=PC(x). 因此对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, M δ C μ ( x ) = δ C ( P C ( x ) ) + 1 2 μ ∥ x − P C ( x ) ) ∥ 2 = 1 2 μ d C 2 ( x ) . \boxed{M_{\delta_C}^{\mu}(\mathbf{x})=\delta_C(P_C(\mathbf{x}))+\frac{1}{2\mu}\Vert\mathbf{x}-P_C(\mathbf{x}))\Vert^2=\frac{1}{2\mu}d_C^2(\mathbf{x}).} MδCμ(x)=δC(PC(x))+2μ1∥x−PC(x))∥2=2μ1dC2(x).
下例中我们将说明欧式范数的Moreau包络是Huber函数, 其定义为
H
μ
(
x
)
=
{
1
2
μ
∥
x
∥
2
,
∥
x
∥
≤
μ
,
∥
x
∥
−
μ
2
,
∥
x
∥
>
μ
.
H_{\mu}(\mathbf{x})=\left\{\begin{array}{ll}\frac{1}{2\mu}\Vert\mathbf{x}\Vert^2, & \Vert\mathbf{x}\Vert\le\mu,\\\Vert\mathbf{x}\Vert-\frac{\mu}{2}, & \Vert\mathbf{x}\Vert>\mu.\end{array}\right.
Hμ(x)={2μ1∥x∥2,∥x∥−2μ,∥x∥≤μ,∥x∥>μ.一维Huber函数的图像见下图. 从图中可见随着
μ
\mu
μ变得越大, 函数也变得越光滑.
例25 (欧式范数的Moreau包络——Huber函数) 设 f : E → R f:\mathbb{E}\to\mathbb{R} f:E→R为 f ( x ) = ∥ x ∥ f(\mathbf{x})=\Vert\mathbf{x}\Vert f(x)=∥x∥. 由例8, 对 ∀ x ∈ E , μ > 0 \forall\mathbf{x}\in\mathbb{E},\,\mu>0 ∀x∈E,μ>0, p r o x μ f ( x ) = ( 1 − μ max { ∥ x ∥ , μ } ) x . \mathrm{prox}_{\mu f}(\mathbf{x})=\left(1-\frac{\mu}{\max\{\Vert\mathbf{x}\Vert,\mu\}}\right)\mathbf{x}. proxμf(x)=(1−max{∥x∥,μ}μ)x.因此, M ∥ ⋅ ∥ μ ( x ) = ∥ p r o x μ f ( x ) ∥ + 1 2 μ ∥ x − p r o x μ f ( x ) ∥ 2 = { 1 2 μ ∥ x ∥ 2 , ∥ x ∥ ≤ μ , ∥ x ∥ − μ 2 , ∥ x ∥ > μ = H μ ( x ) . \boxed{M_{\Vert\cdot\Vert}^{\mu}(\mathbf{x})=\Vert\mathrm{prox}_{\mu f}(\mathbf{x})\Vert+\frac{1}{2\mu}\Vert\mathbf{x}-\mathrm{prox}_{\mu f}(\mathbf{x})\Vert^2=\left\{\begin{array}{ll}\frac{1}{2\mu}\Vert\mathbf{x}\Vert^2, & \Vert\mathbf{x}\Vert\le\mu,\\\Vert\mathbf{x}\Vert-\frac{\mu}{2}, & \Vert\mathbf{x}\Vert>\mu\end{array}\right.=H_{\mu}(\mathbf{x}).} M∥⋅∥μ(x)=∥proxμf(x)∥+2μ1∥x−proxμf(x)∥2={2μ1∥x∥2,∥x∥−2μ,∥x∥≤μ,∥x∥>μ=Hμ(x).
注意到Moreau包络实际上就是 f f f与函数 ω μ ( x ) = 1 2 μ ∥ x ∥ 2 \omega_{\mu}(\mathbf{x})=\frac{1}{2\mu}\Vert\mathbf{x}\Vert^2 ωμ(x)=2μ1∥x∥2的极小卷积, 即 M f μ = f □ ω μ . M_f^{\mu}=f\square\omega_{\mu}. Mfμ=f□ωμ.因此根据第二章的定理8, 若 f f f正常闭凸(实际上闭性是不需要的), 则 M f μ M_f^{\mu} Mfμ是凸函数.
定理20 设
f
:
E
→
(
−
∞
,
∞
]
f:\mathbb{E}\to(-\infty,\infty]
f:E→(−∞,∞]为一正常闭凸函数,
ω
μ
\omega_{\mu}
ωμ定义如上,
μ
>
0
\mu>0
μ>0. 则
(i)
M
f
μ
=
f
□
ω
μ
M_f^{\mu}=f\square\omega_{\mu}
Mfμ=f□ωμ;
(ii)
M
f
μ
:
E
→
R
M_f^{\mu}:\mathbb{E}\to\mathbb{R}
Mfμ:E→R是实值凸函数.
再根据极小卷积与共轭运算的关系, 由定理20和第四章定理9, 我们就可以推出Moreau包络共轭函数的表达式.
推论3 设 f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f:E→(−∞,∞]为一正常闭凸函数, ω μ \omega_{\mu} ωμ定义如上, μ > 0 \mu>0 μ>0. 则 ( M f μ ) ∗ = f ∗ + ω 1 μ , (M_f^{\mu})^*=f^*+\omega_{\frac{1}{\mu}}, (Mfμ)∗=f∗+ωμ1,其中 ω 1 μ \omega_{\frac{1}{\mu}} ωμ1用 ∥ ⋅ ∥ \Vert\cdot\Vert ∥⋅∥的对偶范数定义.
下面给出几个Moreau包络的运算规则.
引理4 设 f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f:E→(−∞,∞]为一正常闭凸函数, λ , μ > 0 \lambda,\,\mu>0 λ,μ>0. 则对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, λ M f μ ( x ) = M λ f μ / λ ( x ) . \lambda M_f^{\mu}(\mathbf{x})=M_{\lambda f}^{\mu/\lambda}(\mathbf{x}). λMfμ(x)=Mλfμ/λ(x).
证明: 对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, λ M f μ ( x ) = λ min u { f ( u ) + 1 2 μ ∥ u − x ∥ 2 } = min u { λ f ( u ) + 1 2 μ / λ ∥ u − x ∥ 2 } = M λ f μ / λ ( x ) . \begin{aligned}\lambda M_f^{\mu}(\mathbf{x})&=\lambda\min_{\mathbf{u}}\left\{f(\mathbf{u})+\frac{1}{2\mu}\Vert\mathbf{u-x}\Vert^2\right\}\\&=\min_{\mathbf{u}}\left\{\lambda f(\mathbf{u})+\frac{1}{2\mu/\lambda}\Vert\mathbf{u-x}\Vert^2\right\}\\&=M_{\lambda f}^{\mu/\lambda}(\mathbf{x}).\end{aligned} λMfμ(x)=λumin{f(u)+2μ1∥u−x∥2}=umin{λf(u)+2μ/λ1∥u−x∥2}=Mλfμ/λ(x).
定理21 (可分函数的Moreau包络) 设 E = E 1 × E 2 × ⋯ × E m \mathbb{E}=\mathbb{E}_1\times\mathbb{E}_2\times\cdots\times\mathbb{E}_m E=E1×E2×⋯×Em, f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f:E→(−∞,∞]定义为 f ( x 1 , x 2 , … , x m ) = ∑ i = 1 m f i ( x i ) , x 1 ∈ E 1 , x 2 ∈ E 2 , … , x m ∈ E m , f(\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_m)=\sum_{i=1}^mf_i(\mathbf{x}_i),\quad\mathbf{x}_1\in\mathbb{E}_1,\,\mathbf{x}_2\in\mathbb{E}_2,\,\ldots,\mathbf{x}_m\in\mathbb{E}_m, f(x1,x2,…,xm)=i=1∑mfi(xi),x1∈E1,x2∈E2,…,xm∈Em,这里对 ∀ i \forall i ∀i, f i : E i → ( − ∞ , ∞ ] f_i:\mathbb{E}_i\to(-\infty,\infty] fi:Ei→(−∞,∞]是正常闭凸函数. 则给定 μ > 0 \mu>0 μ>0, 对 ∀ x 1 ∈ E 1 , x 2 ∈ E 2 , … , x m ∈ E m \forall\mathbf{x}_1\in\mathbb{E}_1,\,\mathbf{x}_2\in\mathbb{E}_2,\,\ldots,\mathbf{x}_m\in\mathbb{E}_m ∀x1∈E1,x2∈E2,…,xm∈Em, M f μ ( x 1 , x 2 , … , x m ) = ∑ i = 1 m M f i μ ( x i ) . M_f^{\mu}(\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_m)=\sum_{i=1}^mM_{f_i}^{\mu}(\mathbf{x}_i). Mfμ(x1,x2,…,xm)=i=1∑mMfiμ(xi).
证明: 对 ∀ x 1 ∈ E 1 , x 2 ∈ E 2 , … , x m ∈ E m \forall\mathbf{x}_1\in\mathbb{E}_1,\,\mathbf{x}_2\in\mathbb{E}_2,\ldots,\mathbf{x}_m\in\mathbb{E}_m ∀x1∈E1,x2∈E2,…,xm∈Em, 记 x = ( x 1 , x 2 , … , x m ) \mathbf{x}=(\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_m) x=(x1,x2,…,xm), M f μ ( x ) = min u i ∈ E i , i = 1 , 2 , … , m { f ( u 1 , u 2 , … , u m ) + 1 2 μ ∥ ( u 1 , u 2 , … , u m ) − x ∥ 2 } = min u i ∈ E i , i = 1 , 2 , … , m { ∑ i = 1 m f i ( u i ) + 1 2 μ ∑ i = 1 m ∥ u i − x i ∥ 2 } = ∑ i = 1 m min u i ∈ E i { f i ( u i ) + 1 2 μ ∥ u i − x i ∥ 2 } = ∑ i = 1 m M f i μ ( x i ) . \begin{aligned}M_f^{\mu}(\mathbf{x})&=\min_{\mathbf{u}_i\in\mathbb{E}_i,\,i=1,2,\ldots,m}\left\{f(\mathbf{u}_1,\mathbf{u}_2,\ldots,\mathbf{u}_m)+\frac{1}{2\mu}\Vert(\mathbf{u}_1,\mathbf{u}_2,\ldots,\mathbf{u}_m)-\mathbf{x}\Vert^2\right\}\\&=\min_{\mathbf{u}_i\in\mathbb{E}_i,\,i=1,2,\ldots,m}\left\{\sum_{i=1}^mf_i(\mathbf{u}_i)+\frac{1}{2\mu}\sum_{i=1}^m\Vert\mathbf{u}_i-\mathbf{x}_i\Vert^2\right\}\\&=\sum_{i=1}^m\min_{\mathbf{u}_i\in\mathbb{E}_i}\left\{f_i(\mathbf{u}_i)+\frac{1}{2\mu}\Vert\mathbf{u}_i-\mathbf{x}_i\Vert^2\right\}\\&=\sum_{i=1}^mM_{f_i}^{\mu}(\mathbf{x}_i).\end{aligned} Mfμ(x)=ui∈Ei,i=1,2,…,mmin{f(u1,u2,…,um)+2μ1∥(u1,u2,…,um)−x∥2}=ui∈Ei,i=1,2,…,mmin{i=1∑mfi(ui)+2μ1i=1∑m∥ui−xi∥2}=i=1∑mui∈Eimin{fi(ui)+2μ1∥ui−xi∥2}=i=1∑mMfiμ(xi).
例26 ( ℓ 1 \ell_1 ℓ1-范数的Moreau包络) 考虑函数 f : R n → R f:\mathbb{R}^n\to\mathbb{R} f:Rn→R定义为 f ( x ) = ∥ x ∥ 1 f(\mathbf{x})=\Vert\mathbf{x}\Vert_1 f(x)=∥x∥1. 注意到 f ( x ) = ∥ x ∥ 1 = ∑ i = 1 n g ( x i ) , f(\mathbf{x})=\Vert\mathbf{x}\Vert_1=\sum_{i=1}^ng(x_i), f(x)=∥x∥1=i=1∑ng(xi),其中 g ( t ) = ∣ t ∣ g(t)=|t| g(t)=∣t∣. 由例25, M g μ = H μ M_g^{\mu}=H_{\mu} Mgμ=Hμ. 再由定理21, 我们就有对 ∀ x ∈ R n \forall\mathbf{x}\in\mathbb{R}^n ∀x∈Rn, M f μ ( x ) = ∑ i = 1 n M g μ ( x i ) = ∑ i = 1 n H μ ( x i ) . M_f^{\mu}(\mathbf{x})=\sum_{i=1}^nM_g^{\mu}(x_i)=\sum_{i=1}^nH_{\mu}(x_i). Mfμ(x)=i=1∑nMgμ(xi)=i=1∑nHμ(xi).
7.2 Moreau包络的可微性
定理22 (Moreau包络的光滑性) 设 f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f:E→(−∞,∞]为一正常闭凸函数, μ > 0 \mu>0 μ>0. 则 M f μ M_f^{\mu} Mfμ是 E \mathbb{E} E上的 1 μ \frac{1}{\mu} μ1-光滑函数10, 且对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, ∇ M f μ ( x ) = 1 μ ( x − p r o x μ f ( x ) ) . \nabla M_f^{\mu}(\mathbf{x})=\frac{1}{\mu}(\mathbf{x}-\mathrm{prox}_{\mu f}(\mathbf{x})). ∇Mfμ(x)=μ1(x−proxμf(x)).
证明: 由定理20(i), M f μ = f □ ω μ M_f^{\mu}=f\square\omega_{\mu} Mfμ=f□ωμ, 其中 ω μ = 1 2 μ ∥ ⋅ ∥ 2 \omega_{\mu}=\frac{1}{2\mu}\Vert\cdot\Vert^2 ωμ=2μ1∥⋅∥2. 根据第五章定理9(令 ω = ω μ , L = 1 μ \omega=\omega_{\mu},\,L=\frac{1}{\mu} ω=ωμ,L=μ1), 就有 M f μ M_f^{\mu} Mfμ是 1 μ \frac{1}{\mu} μ1-光滑的. 由于 p r o x μ f ( x ) = arg min u ∈ E { f ( u ) + 1 2 μ ∥ u − x ∥ 2 } , \mathrm{prox}_{\mu f}(\mathbf{x})=\arg\min_{\mathbf{u}\in\mathbb{E}}\left\{f(\mathbf{u})+\frac{1}{2\mu}\Vert\mathbf{u-x}\Vert^2\right\}, proxμf(x)=argu∈Emin{f(u)+2μ1∥u−x∥2},因此第五章定理9中的 u ( x ) \mathbf{u(x)} u(x)就是 p r o x μ f ( x ) \mathrm{prox}_{\mu f}(\mathbf{x}) proxμf(x)且 ∇ M f μ ( x ) = ∇ ω μ ( x − u ( x ) ) = 1 μ ( x − p r o x μ f ( x ) ) . \nabla M_f^{\mu}(\mathbf{x})=\nabla \omega_{\mu}(\mathbf{x-u(x)})=\frac{1}{\mu}(\mathbf{x}-\mathrm{prox}_{\mu f}(\mathbf{x})). ∇Mfμ(x)=∇ωμ(x−u(x))=μ1(x−proxμf(x)).
例27 ( 1 2 d C 2 \frac{1}{2}d_C^2 21dC2的 1 1 1-光滑性) 此前, 我们在第三章例9推导了 1 2 d C 2 \frac{1}{2}d_C^2 21dC2的梯度表达式, 其 1 1 1-光滑性也在第五章的例3和例13中被两次讨论. 这里我们再从Moreau包络的角度出发. 设 C ⊂ E C\subset\mathbb{E} C⊂E为一非空闭凸集. 由例24, 1 2 d C 2 = M δ C 1 \frac{1}{2}d_C^2=M_{\delta C}^1 21dC2=MδC1. 于是由定理22, 1 2 d C 2 \frac{1}{2}d_C^2 21dC2是 1 1 1-光滑的且 ∇ ( 1 2 d C 2 ) ( x ) = x − p r o x δ C ( x ) = x − P C ( x ) . \nabla\left(\frac{1}{2}d_C^2\right)(\mathbf{x})=\mathbf{x}-\mathrm{prox}_{\delta_C}(\mathbf{x})=\mathbf{x}-P_C(\mathbf{x}). ∇(21dC2)(x)=x−proxδC(x)=x−PC(x).
例28 (Huber函数的光滑性) Huber函数的定义为 H μ ( x ) = { 1 2 μ ∥ x ∥ 2 , ∥ x ∥ ≤ μ ∥ x ∥ − μ 2 ∥ x ∥ > μ . H_{\mu}(\mathbf{x})=\left\{\begin{array}{ll}\frac{1}{2\mu}\Vert\mathbf{x}\Vert^2, & \Vert\mathbf{x}\Vert\le\mu\\\Vert\mathbf{x}\Vert-\frac{\mu}{2} & \Vert\mathbf{x}\Vert>\mu.\end{array}\right. Hμ(x)={2μ1∥x∥2,∥x∥−2μ∥x∥≤μ∥x∥>μ.由例25, H μ = M f μ H_{\mu}=M_f^{\mu} Hμ=Mfμ, 其中 f f f是欧式范数 f ( x ) = ∥ x ∥ f(\mathbf{x})=\Vert\mathbf{x}\Vert f(x)=∥x∥. 于是由定理22, H μ H_{\mu} Hμ是 1 μ \frac{1}{\mu} μ1-光滑函数且 ∇ H μ ( x ) = 1 μ ( x − p r o x μ f ( x ) ) = 例 8 1 μ ( x − ( 1 − μ max { ∥ x ∥ , μ } ) x ) = { 1 μ x , ∥ x ∥ ≤ μ , x ∥ x ∥ , ∥ x ∥ > μ , \begin{aligned}\nabla H_{\mu}(\mathbf{x})&=\frac{1}{\mu}\left(\mathbf{x}-\mathrm{prox}_{\mu f}(\mathbf{x})\right)\\&\overset{例8}{=}\frac{1}{\mu}\left(\mathbf{x}-\left(1-\frac{\mu}{\max\{\Vert\mathbf{x}\Vert,\mu\}}\right)\mathbf{x}\right)\\&=\left\{\begin{array}{ll}\frac{1}{\mu}\mathbf{x}, & \Vert\mathbf{x}\Vert\le\mu,\\\frac{\mathbf{x}}{\Vert\mathbf{x}\Vert}, & \Vert\mathbf{x}\Vert>\mu,\end{array}\right.\end{aligned} ∇Hμ(x)=μ1(x−proxμf(x))=例8μ1(x−(1−max{∥x∥,μ}μ)x)={μ1x,∥x∥x,∥x∥≤μ,∥x∥>μ,这也说明Huber函数在 ∥ x ∥ = μ \Vert\mathbf{x}\Vert=\mu ∥x∥=μ的位置是光滑连接的.
7.3 Moreau包络的prox
下面的定理23表明, 对一个正常闭凸函数 f f f, 已知其prox, 则可以进一步计算出其Moreau包络的prox.
定理23 (Moreau包络的prox) 设 f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f:E→(−∞,∞]为一正常闭凸函数, μ > 0 \mu>0 μ>0. 则对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, p r o x M f μ ( x ) = x + 1 μ + 1 ( p r o x ( μ + 1 ) f ( x ) − x ) . \mathrm{prox}_{M_f^{\mu}}(\mathbf{x})=\mathbf{x}+\frac{1}{\mu+1}\left(\mathrm{prox}_{(\mu+1)f}(\mathbf{x})-\mathbf{x}\right). proxMfμ(x)=x+μ+11(prox(μ+1)f(x)−x).
证明: 首先注意到 min u { M f μ ( u ) + 1 2 ∥ u − x ∥ 2 } = min u min y { f ( y ) + 1 2 μ ∥ u − y ∥ 2 + 1 2 ∥ u − x ∥ 2 } . \min_{\mathbf{u}}\left\{M_f^{\mu}(\mathbf{u})+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}=\min_{\mathbf{u}}\min_{\mathbf{y}}\left\{f(\mathbf{y})+\frac{1}{2\mu}\Vert\mathbf{u-y}\Vert^2+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}. umin{Mfμ(u)+21∥u−x∥2}=uminymin{f(y)+2μ1∥u−y∥2+21∥u−x∥2}.交换极小化次序可得 min y min u { f ( y ) + 1 2 μ ∥ u − y ∥ 2 + 1 2 ∥ u − x ∥ 2 } . \min_{\mathbf{y}}\min_{\mathbf{u}}\left\{f(\mathbf{y})+\frac{1}{2\mu}\Vert\mathbf{u-y}\Vert^2+\frac{1}{2}\Vert\mathbf{u-x}\Vert^2\right\}. yminumin{f(y)+2μ1∥u−y∥2+21∥u−x∥2}.内部子问题的最优解于梯度为 0 \mathbf{0} 0处取到, 即 1 μ ( u − y ) + ( u − x ) = 0 ⇒ u = u μ = μ x + y μ + 1 . \frac{1}{\mu}(\mathbf{u-y})+(\mathbf{u-x})=\mathbf{0}\Rightarrow\mathbf{u}=\mathbf{u}_{\mu}=\frac{\mu\mathbf{x+y}}{\mu+1}. μ1(u−y)+(u−x)=0⇒u=uμ=μ+1μx+y.因此, 内部子问题的最优值为 f ( y ) + 1 2 μ ∥ u μ − y ∥ 2 + 1 2 ∥ u μ − x ∥ 2 = f ( y ) + 1 2 μ ∥ μ x − μ y μ + 1 ∥ 2 + 1 2 ∥ y − x μ + 1 ∥ 2 = f ( y ) + 1 2 ( μ + 1 ) ∥ x − y ∥ 2 . \begin{aligned}f(\mathbf{y})+\frac{1}{2\mu}\Vert\mathbf{u}_{\mu}-\mathbf{y}\Vert^2+\frac{1}{2}\Vert\mathbf{u}_{\mu}-\mathbf{x}\Vert^2&=f(\mathbf{y})+\frac{1}{2\mu}\left\Vert\frac{\mu\mathbf{x}-\mu\mathbf{y}}{\mu+1}\right\Vert^2+\frac{1}{2}\left\Vert\frac{\mathbf{y-x}}{\mu+1}\right\Vert^2\\&=f(\mathbf{y})+\frac{1}{2(\mu+1)}\Vert\mathbf{x-y}\Vert^2.\end{aligned} f(y)+2μ1∥uμ−y∥2+21∥uμ−x∥2=f(y)+2μ1∥∥∥∥μ+1μx−μy∥∥∥∥2+21∥∥∥∥μ+1y−x∥∥∥∥2=f(y)+2(μ+1)1∥x−y∥2.所以原问题最优解 u \mathbf{u} u的表达式中 y \mathbf{y} y是 min y { f ( y ) + 1 2 ( μ + 1 ) ∥ x − y ∥ 2 } \min_{\mathbf{y}}\left\{f(\mathbf{y)}+\frac{1}{2(\mu+1)}\Vert\mathbf{x-y}\Vert^2\right\} ymin{f(y)+2(μ+1)1∥x−y∥2}的解, 也即 y = p r o x ( μ + 1 ) f ( x ) \mathbf{y}=\mathrm{prox}_{(\mu+1)f}(\mathbf{x}) y=prox(μ+1)f(x). 总之, p r o x M f μ = 1 μ + 1 ( μ x + p r o x ( μ + 1 ) f ( x ) ) . \mathrm{prox}_{M_f^{\mu}}=\frac{1}{\mu+1}\left(\mu\mathbf{x}+\mathrm{prox}_{(\mu+1)f}(\mathbf{x})\right). proxMfμ=μ+11(μx+prox(μ+1)f(x)).
结合定理23与引理4, 就得到下面的推论4.
推论4 设 f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f:E→(−∞,∞]为一正常闭凸函数, λ , μ > 0 \lambda,\mu>0 λ,μ>0. 则对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, p r o x λ M f μ ( x ) = x + λ μ + λ ( p r o x ( μ + λ ) f ( x ) − x ) . \mathrm{prox}_{\lambda M_f^{\mu}}(\mathbf{x})=\mathbf{x}+\frac{\lambda}{\mu+\lambda}\left(\mathrm{prox}_{(\mu+\lambda)f}(\mathbf{x})-\mathbf{x}\right). proxλMfμ(x)=x+μ+λλ(prox(μ+λ)f(x)−x).
证明: p r o x λ M f μ ( x ) = p r o x M λ f μ / λ ( x ) = x + λ μ + λ ( p r o x ( μ + λ ) f ( x ) − x ) . \mathrm{prox}_{\lambda M_f^{\mu}}(\mathbf{x})=\mathrm{prox}_{M_{\lambda f}^{\mu/\lambda}}(\mathbf{x})=\mathbf{x}+\frac{\lambda}{\mu+\lambda}\left(\mathrm{prox}_{(\mu+\lambda)f}(\mathbf{x})-\mathbf{x}\right). proxλMfμ(x)=proxMλfμ/λ(x)=x+μ+λλ(prox(μ+λ)f(x)−x).
例29 ( λ 2 d C 2 \frac{\lambda}{2}d_C^2 2λdC2的prox) 设 C ⊂ E C\subset\mathbb{E} C⊂E为一非空闭凸集, λ > 0 \lambda>0 λ>0. 考虑函数 f = 1 2 d C 2 f=\frac{1}{2}d_C^2 f=21dC2. 由例27, f = M g 1 f=M_g^1 f=Mg1, 其中 g = δ C g=\delta_C g=δC. 由于 p r o x g = P C \mathrm{prox}_g=P_C proxg=PC, 因此由推论4, 对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, p r o x λ f ( x ) = p r o x λ M g 1 ( x ) = x + λ λ + 1 ( p r o x ( λ + 1 ) g ( x ) − x ) = x + λ λ + 1 ( P C ( x ) − x ) . \mathrm{prox}_{\lambda f}(\mathbf{x})=\mathrm{prox}_{\lambda M_g^1}(\mathbf{x})=\mathbf{x}+\frac{\lambda}{\lambda+1}\left(\mathrm{prox}_{(\lambda+1)g}(\mathbf{x})-\mathbf{x}\right)=\mathbf{x}+\frac{\lambda}{\lambda+1}(P_C(\mathbf{x})-\mathbf{x}). proxλf(x)=proxλMg1(x)=x+λ+1λ(prox(λ+1)g(x)−x)=x+λ+1λ(PC(x)−x). p r o x λ 2 d C 2 ( x ) = λ λ + 1 P C ( x ) + 1 λ + 1 x . \boxed{\mathrm{prox}_{\frac{\lambda}{2}d_C^2}(\mathbf{x})=\frac{\lambda}{\lambda+1}P_C(\mathbf{x})+\frac{1}{\lambda+1}\mathbf{x}.} prox2λdC2(x)=λ+1λPC(x)+λ+11x.
例30 (Huber函数的prox) 考虑函数 f ( x ) = λ H μ ( x ) f(\mathbf{x})=\lambda H_{\mu}(\mathbf{x}) f(x)=λHμ(x). 由例25, H μ = M g μ H_{\mu}=M_g^{\mu} Hμ=Mgμ, 其中 g ( x ) = ∥ x ∥ g(\mathbf{x})=\Vert\mathbf{x}\Vert g(x)=∥x∥. 因此由推论4和例8, 对 ∀ λ > 0 , x ∈ E \forall\lambda>0,\,\mathbf{x}\in\mathbb{E} ∀λ>0,x∈E, p r o x λ H μ ( x ) = p r o x λ M g μ ( x ) = x + λ μ + λ ( p r o x ( μ + λ ) g ( x ) − x ) = x + λ μ + λ ( ( 1 − μ + λ max { ∥ x ∥ , μ + λ } ) x − x ) . \begin{aligned}\mathrm{prox}_{\lambda H_{\mu}}(\mathbf{x})&=\mathrm{prox}_{\lambda M_g^{\mu}}(\mathbf{x})=\mathbf{x}+\frac{\lambda}{\mu+\lambda}\left(\mathrm{prox}_{(\mu+\lambda)g}(\mathbf{x})-\mathbf{x}\right)\\&=\mathbf{x}+\frac{\lambda}{\mu+\lambda}\left(\left(1-\frac{\mu+\lambda}{\max\{\Vert\mathbf{x}\Vert,\mu+\lambda\}}\right)\mathbf{x}-\mathbf{x}\right).\end{aligned} proxλHμ(x)=proxλMgμ(x)=x+μ+λλ(prox(μ+λ)g(x)−x)=x+μ+λλ((1−max{∥x∥,μ+λ}μ+λ)x−x).简化后可得 p r o x λ H μ ( x ) = ( 1 − λ max { ∥ x ∥ , μ + λ } ) x . \boxed{\mathrm{prox}_{\lambda H_{\mu}}(\mathbf{x})=\left(1-\frac{\lambda}{\max\{\Vert\mathbf{x}\Vert,\mu+\lambda\}}\right)\mathbf{x}.} proxλHμ(x)=(1−max{∥x∥,μ+λ}λ)x.
类似于临近算子的Moreau分解公式, 我们也可以推导出对Moreau包络函数的分解公式.
定理24 (Moreau包络分解) 设 f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f:E→(−∞,∞]为一正常闭凸函数, μ > 0 \mu>0 μ>0. 则对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, M f μ ( x ) + M f ∗ 1 / μ ( x / μ ) = 1 2 μ ∥ x ∥ 2 . M_f^{\mu}(\mathbf{x})+M_{f^*}^{1/\mu}(\mathbf{x}/\mu)=\frac{1}{2\mu}\Vert\mathbf{x}\Vert^2. Mfμ(x)+Mf∗1/μ(x/μ)=2μ1∥x∥2.
证明: 对 ∀ x ∈ E \forall\mathbf{x}\in\mathbb{E} ∀x∈E, M f μ ( x ) = min u ∈ E { f ( u ) + ψ ( u ) } , M_f^{\mu}(\mathbf{x})=\min_{\mathbf{u}\in\mathbb{E}}\{f(\mathbf{u})+\psi(\mathbf{u})\}, Mfμ(x)=u∈Emin{f(u)+ψ(u)},其中 ψ ( u ) = 1 2 μ ∥ u − x ∥ 2 \psi(\mathbf{u})=\frac{1}{2\mu}\Vert\mathbf{u-x}\Vert^2 ψ(u)=2μ1∥u−x∥2. 由Fenchel对偶定理, M f μ ( x ) = max v ∈ E { − f ∗ ( v ) − ψ ∗ ( − v ) } = − min v ∈ E { f ∗ ( v ) + ψ ∗ ( − v ) } . M_f^{\mu}(\mathbf{x})=\max_{\mathbf{v}\in\mathbb{E}}\{-f^*(\mathbf{v})-\psi^*(-\mathbf{v})\}=-\min_{\mathbf{v}\in\mathbb{E}}\{f^*(\mathbf{v})+\psi^*(\mathbf{-v})\}. Mfμ(x)=v∈Emax{−f∗(v)−ψ∗(−v)}=−v∈Emin{f∗(v)+ψ∗(−v)}.记 ϕ ( ⋅ ) = 1 2 ∥ ⋅ − x ∥ 2 \phi(\cdot)=\frac{1}{2}\Vert\cdot-\mathbf{x}\Vert^2 ϕ(⋅)=21∥⋅−x∥2. 于是 ϕ ∗ ( v ) = 1 2 ∥ v ∥ 2 + ⟨ x , v ⟩ . \phi^*(\mathbf{v})=\frac{1}{2}\Vert\mathbf{v}\Vert^2+\langle\mathbf{x,v}\rangle. ϕ∗(v)=21∥v∥2+⟨x,v⟩.因为 ψ = 1 μ ϕ \psi=\frac{1}{\mu}\phi ψ=μ1ϕ, 于是由第四章定理7(i), ψ ∗ ( v ) = 1 μ ϕ ∗ ( μ v ) = μ 2 ∥ v ∥ 2 + ⟨ x , v ⟩ . \psi^*(\mathbf{v})=\frac{1}{\mu}\phi^*(\mu\mathbf{v})=\frac{\mu}{2}\Vert\mathbf{v}\Vert^2+\langle\mathbf{x,v}\rangle. ψ∗(v)=μ1ϕ∗(μv)=2μ∥v∥2+⟨x,v⟩.因此 M f μ ( x ) = − min v ∈ E { f ∗ ( v ) + μ 2 ∥ v ∥ 2 − ⟨ x , v ⟩ } = − min v ∈ E { f ∗ ( v ) + μ 2 ∥ v − x / μ ∥ 2 − 1 2 μ ∥ x ∥ 2 } = 1 2 μ ∥ x ∥ 2 − M f ∗ 1 / μ ( x / μ ) . \begin{aligned}M_f^{\mu}(\mathbf{x})&=-\min_{\mathbf{v}\in\mathbb{E}}\left\{f^*(\mathbf{v})+\frac{\mu}{2}\Vert\mathbf{v}\Vert^2-\langle\mathbf{x,v}\rangle\right\}\\&=-\min_{\mathbf{v}\in\mathbb{E}}\left\{f^*(\mathbf{v})+\frac{\mu}{2}\Vert\mathbf{v}-\mathbf{x}/\mu\Vert^2-\frac{1}{2\mu}\Vert\mathbf{x}\Vert^2\right\}\\&=\frac{1}{2\mu}\Vert\mathbf{x}\Vert^2-M_{f^*}^{1/\mu}(\mathbf{x}/\mu).\end{aligned} Mfμ(x)=−v∈Emin{f∗(v)+2μ∥v∥2−⟨x,v⟩}=−v∈Emin{f∗(v)+2μ∥v−x/μ∥2−2μ1∥x∥2}=2μ1∥x∥2−Mf∗1/μ(x/μ).
8. 关于prox计算的其它结论
本节我们给出一些prox计算的特殊例子. 它们的证明不依赖于本章中的任何结论.
8.1 R n \mathbb{R}^n Rn上线性变换的范数
引理5 设 f : R n → R f:\mathbb{R}^n\to\mathbb{R} f:Rn→R定义为 f ( x ) = ∥ A x ∥ 2 f(\mathbf{x})=\Vert\mathbf{Ax}\Vert_2 f(x)=∥Ax∥2, 其中 A ∈ R m × n \mathbf{A}\in\mathbb{R}^{m\times n} A∈Rm×n行满秩, λ > 0 \lambda>0 λ>0. 则 p r o x λ f ( x ) = { x − A T ( A A T ) − 1 A x , ∥ ( A A T ) − 1 A x ∥ 2 ≤ λ , x − A T ( A A T + α ∗ I ) − 1 A x , ∥ ( A A T ) − 1 A x ∥ 2 > λ , \mathrm{prox}_{\lambda f}(\mathbf{x})=\left\{\begin{array}{ll}\mathbf{x}-\mathbf{A}^T\left(\mathbf{AA}^T\right)^{-1}\mathbf{Ax}, & \left\Vert\left(\mathbf{AA}^T\right)^{-1}\mathbf{Ax}\right\Vert_2\le\lambda,\\\mathbf{x}-\mathbf{A}^T\left(\mathbf{AA}^T+\alpha^*\mathbf{I}\right)^{-1}\mathbf{Ax}, & \left\Vert\left(\mathbf{AA}^T\right)^{-1}\mathbf{Ax}\right\Vert_2>\lambda,\end{array}\right. proxλf(x)=⎩⎪⎪⎨⎪⎪⎧x−AT(AAT)−1Ax,x−AT(AAT+α∗I)−1Ax,∥∥∥∥(AAT)−1Ax∥∥∥∥2≤λ,∥∥∥∥(AAT)−1Ax∥∥∥∥2>λ,其中 α ∗ \alpha^* α∗为严格单调递减函数 g ( α ) = ∥ ( A A T + α I ) − 1 A x ∥ 2 2 − λ 2 g(\alpha)=\left\Vert\left(\mathbf{AA}^T+\alpha I\right)^{-1}\mathbf{Ax}\right\Vert_2^2-\lambda^2 g(α)=∥∥∥∥(AAT+αI)−1Ax∥∥∥∥22−λ2的唯一正根.
证明: p r o x λ f ( x ) \mathrm{prox}_{\lambda f}(\mathbf{x}) proxλf(x)是 min u ∈ R n { λ ∥ A u ∥ 2 + 1 2 ∥ u − x ∥ 2 2 } \min_{\mathbf{u}\in\mathbb{R}^n}\left\{\lambda\Vert\mathbf{Au}\Vert_2+\frac{1}{2}\Vert\mathbf{u-x}\Vert_2^2\right\} u∈Rnmin{λ∥Au∥2+21∥u−x∥22}的唯一最优解. 这等价于 min u ∈ R n , z ∈ R m { 1 2 ∥ u − x ∥ 2 2 + λ ∥ z ∥ 2 : z = A u } . \min_{\mathbf{u}\in\mathbb{R}^n,\,\mathbf{z}\in\mathbb{R}^m}\left\{\frac{1}{2}\Vert\mathbf{u-x}\Vert_2^2+\lambda\Vert\mathbf{z}\Vert_2:\mathbf{z=Au}\right\}. u∈Rn,z∈Rmmin{21∥u−x∥22+λ∥z∥2:z=Au}.其Lagrange函数为 L ( u , z ; y ) = 1 2 ∥ u − x ∥ 2 2 + λ ∥ z ∥ 2 + y T ( z − A u ) = [ 1 2 ∥ u − x ∥ 2 2 − ( A T y ) T u ] + [ λ ∥ z ∥ 2 + y T z ] . \begin{aligned}L(\mathbf{u,z;y})&=\frac{1}{2}\Vert\mathbf{u-x}\Vert_2^2+\lambda\Vert\mathbf{z}\Vert_2+\mathbf{y}^T(\mathbf{z-Au})\\&=\left[\frac{1}{2}\Vert\mathbf{u-x}\Vert_2^2-\left(\mathbf{A}^T\mathbf{y}\right)^T\mathbf{u}\right]+\left[\lambda\Vert\mathbf{z}\Vert_2+\mathbf{y}^T\mathbf{z}\right].\end{aligned} L(u,z;y)=21∥u−x∥22+λ∥z∥2+yT(z−Au)=[21∥u−x∥22−(ATy)Tu]+[λ∥z∥2+yTz].由于Lagrange函数对变量 u , z \mathbf{u,z} u,z是可分的, 因此对偶问题的目标函数可以写作 min u , z L ( u , z ; y ) = min u [ 1 2 ∥ u − x ∥ 2 2 − ( A T y ) T u ] + min z [ λ ∥ z ∥ 2 + y T z ] . \min_{\mathbf{u,z}}L(\mathbf{u,z;y})=\min_{\mathbf{u}}\left[\frac{1}{2}\Vert\mathbf{u-x}\Vert_2^2-\left(\mathbf{A}^T\mathbf{y}\right)^T\mathbf{u}\right]+\min_{\mathbf{z}}\left[\lambda\Vert\mathbf{z}\Vert_2+\mathbf{y}^T\mathbf{z}\right]. u,zminL(u,z;y)=umin[21∥u−x∥22−(ATy)Tu]+zmin[λ∥z∥2+yTz].关于 u \mathbf{u} u的极小化问题的最优解为 u ~ = x + A T y \tilde\mathbf{u}=\mathbf{x}+\mathbf{A}^T\mathbf{y} u~=x+ATy, 对应的最优值为 − 1 2 y T A A T y − ( A x ) T y . -\frac{1}{2}\mathbf{y}^T\mathbf{AA}^T\mathbf{y}-\left(\mathbf{Ax}\right)^T\mathbf{y}. −21yTAATy−(Ax)Ty.而关于 z \mathbf{z} z的极小化问题可以写作 min z [ λ ∥ z ∥ 2 + y T z ] = − max z [ ( − y ) T z − λ ∥ z ∥ 2 ] = − g ∗ ( − y ) , \min_{\mathbf{z}}\left[\lambda\Vert\mathbf{z}\Vert_2+\mathbf{y}^T\mathbf{z}\right]=-\max_{\mathbf{z}}\left[(\mathbf{-y})^T\mathbf{z}-\lambda\Vert\mathbf{z}\Vert_2\right]=-g^*(\mathbf{-y}), zmin[λ∥z∥2+yTz]=−zmax[(−y)Tz−λ∥z∥2]=−g∗(−y),其中 g ( ⋅ ) = λ ∥ ⋅ ∥ 2 g(\cdot)=\lambda\Vert\cdot\Vert_2 g(⋅)=λ∥⋅∥2. 由于 g ∗ ( w ) = λ δ B ∥ ⋅ ∥ 2 [ 0 , 1 ] ( w / λ ) = δ B ∥ ⋅ ∥ 2 [ 0 , λ ] g^*(\mathbf{w})=\lambda\delta_{B_{\Vert\cdot\Vert_2}[\mathbf{0},1]}(\mathbf{w}/\lambda)=\delta_{B_{\Vert\cdot\Vert_2}[\mathbf{0},\lambda]} g∗(w)=λδB∥⋅∥2[0,1](w/λ)=δB∥⋅∥2[0,λ](根据第四章定理7(i)与4.12节), 因此 min z [ λ ∥ z ∥ 2 + y T z ] = { 0 , ∥ y ∥ 2 ≤ λ , − ∞ , ∥ y ∥ 2 > λ . \min_{\mathbf{z}}\left[\lambda\Vert\mathbf{z}\Vert_2+\mathbf{y}^T\mathbf{z}\right]=\left\{\begin{array}{ll}0, & \Vert\mathbf{y}\Vert_2\le\lambda,\\-\infty, & \Vert\mathbf{y}\Vert_2>\lambda.\end{array}\right. zmin[λ∥z∥2+yTz]={0,−∞,∥y∥2≤λ,∥y∥2>λ.于此, 我们就有对偶问题: max y ∈ R m { − 1 2 y T A A T y − ( A x ) T y : ∥ y ∥ 2 ≤ λ } . \max_{\mathbf{y}\in\mathbb{R}^m}\left\{-\frac{1}{2}\mathbf{y}^T\mathbf{AA}^T\mathbf{y}-\left(\mathbf{Ax}\right)^T\mathbf{y}:\Vert\mathbf{y}\Vert_2\le\lambda\right\}. y∈Rmmax{−21yTAATy−(Ax)Ty:∥y∥2≤λ}.注意到强对偶性成立. 我们首先将对偶问题写成等价的 min y ∈ R m { 1 2 y T A A T y + ( A x ) T y : ∥ y ∥ 2 2 ≤ λ 2 } . \min_{\mathbf{y}\in\mathbb{R}^m}\left\{\frac{1}{2}\mathbf{y}^T\mathbf{AA}^T\mathbf{y}+\left(\mathbf{Ax}\right)^T\mathbf{y}:\Vert\mathbf{y}\Vert_2^2\le\lambda^2\right\}. y∈Rmmin{21yTAATy+(Ax)Ty:∥y∥22≤λ2}.我们已经知道 p r o x λ f ( x ) = x + A T y , \mathrm{prox}_{\lambda f}(\mathbf{x})=\mathbf{x}+\mathbf{A}^T\mathbf{y}, proxλf(x)=x+ATy,其中 y \mathbf{y} y是对偶问题最优解. 而对偶问题是凸问题且满足Slater条件(见第三章定理28), 因此 y \mathbf{y} y为其最优解当且仅当存在 α ∗ \alpha^* α∗, 使得 ( A A T + α ∗ I ) y + A x = 0 , α ∗ ( ∥ y ∥ 2 2 − λ 2 ) = 0 , ∥ y ∥ 2 2 ≤ λ 2 , α ∗ ≥ 0. \begin{aligned}\left(\mathbf{AA}^T+\alpha^*\mathbf{I}\right)\mathbf{y}+\mathbf{Ax}&=\mathbf{0},\\\alpha^*\left(\Vert\mathbf{y}\Vert_2^2-\lambda^2\right)&=0,\\\Vert\mathbf{y}\Vert_2^2&\le\lambda^2,\\\alpha^*&\ge0.\end{aligned} (AAT+α∗I)y+Axα∗(∥y∥22−λ2)∥y∥22α∗=0,=0,≤λ2,≥0.
- 情形一: α ∗ = 0 \alpha^*=0 α∗=0. 于是 y = − ( A A T ) − 1 A x . \mathbf{y}=-\left(\mathbf{AA}^T\right)^{-1}\mathbf{Ax}. y=−(AAT)−1Ax.这时 y \mathbf{y} y是最优解当且仅当 ∥ ( A A T ) − 1 A x ∥ 2 ≤ λ \left\Vert\left(\mathbf{AA}^T\right)^{-1}\mathbf{Ax}\right\Vert_2\le\lambda ∥∥∥∥(AAT)−1Ax∥∥∥∥2≤λ. 此时, p r o x λ f ( x ) = x − A T ( A A T ) − 1 A x . \mathrm{prox}_{\lambda f}(\mathbf{x})=\mathbf{x}-\mathbf{A}^T\left(\mathbf{AA}^T\right)^{-1}\mathbf{Ax}. proxλf(x)=x−AT(AAT)−1Ax.
- 情形二: 若 ∥ ( A A T ) − 1 A x ∥ 2 > λ \left\Vert\left(\mathbf{AA}^T\right)^{-1}\mathbf{Ax}\right\Vert_2>\lambda ∥∥∥∥(AAT)−1Ax∥∥∥∥2>λ, 则 α ∗ > 0 \alpha^*>0 α∗>0. 此时 y = − ( A A T + α ∗ I ) − 1 A x , \mathbf{y}=-\left(\mathbf{AA}^T+\alpha^*\mathbf{I}\right)^{-1}\mathbf{Ax}, y=−(AAT+α∗I)−1Ax,且由互补松弛条件, ∥ y ∥ 2 2 = λ 2 . \Vert\mathbf{y}\Vert_2^2=\lambda^2. ∥y∥22=λ2.二者结合即得, α ∗ \alpha^* α∗为函数 g ( α ) = ∥ ( A A T + α I ) − 1 A x ∥ 2 2 − λ 2 g(\alpha)=\left\Vert\left(\mathbf{AA}^T+\alpha\mathbf{I}\right)^{-1}\mathbf{Ax}\right\Vert_2^2-\lambda^2 g(α)=∥∥∥∥(AAT+αI)−1Ax∥∥∥∥22−λ2的正根. 可以验证, g ( α ) g(\alpha) g(α)在 α ≥ 0 \alpha\ge0 α≥0时是严格单调递减函数. 因此 α ∗ \alpha^* α∗唯一确定.
8.2 ℓ 1 \ell_1 ℓ1-范数平方
ℓ 1 \ell_1 ℓ1-范数的prox就是软阈值函数(见例2). 但 ℓ 1 \ell_1 ℓ1-范数平方的prox就不那么好求了. 在下面的引理6中, 我们先证明 ∥ x ∥ 1 2 \Vert\mathbf{x}\Vert_1^2 ∥x∥12是一个优化问题的最优值. 其中要用到函数 φ ( s , t ) = { s 2 t , t > 0 , 0 , s = 0 , t = 0 , ∞ , 其 它 . \varphi(s,t)=\left\{\begin{array}{ll}\frac{s^2}{t}, & t>0,\\0, & s=0,\,t=0,\\\infty, & 其它.\end{array}\right. φ(s,t)=⎩⎨⎧ts2,0,∞,t>0,s=0,t=0,其它.根据第二章例13, φ \varphi φ是闭凸函数(尽管它在 ( s , t ) = ( 0 , 0 ) (s,t)=(0,0) (s,t)=(0,0)处并不连续).
引理6 ( ∥ ⋅ ∥ 1 2 \Vert\cdot\Vert_1^2 ∥⋅∥12的变分表示) 对 ∀ x ∈ R n \forall\mathbf{x}\in\mathbb{R}^n ∀x∈Rn, 有 min λ ∈ Δ n ∑ j = 1 n φ ( x j , λ j ) = ∥ x ∥ 1 2 . \min_{\bm{\lambda}\in\Delta_n}\sum_{j=1}^n\varphi(x_j,\lambda_j)=\Vert\mathbf{x}\Vert_1^2. λ∈Δnminj=1∑nφ(xj,λj)=∥x∥12.此问题的一个最优解为 λ ~ j = { ∣ x j ∣ ∥ x ∥ 1 , x ≠ 0 , 1 n , x = 0 , j = 1 , 2 , … , n . \tilde\lambda_j=\left\{\begin{array}{ll}\frac{|x_j|}{\Vert\mathbf{x}\Vert_1}, & \mathbf{x\ne0},\\\frac{1}{n}, & \mathbf{x=0},\end{array}\right.\quad j=1,2,\ldots,n. λ~j={∥x∥1∣xj∣,n1,x=0,x=0,j=1,2,…,n.
证明: 根据闭函数的Weierstrass定理, 此问题必有最优解. 我们记之为 λ ∗ ∈ Δ n \bm{\lambda}^*\in\Delta_n λ∗∈Δn. 定义 I 0 = { i ∈ { 1 , 2 , … , n } : λ i ∗ = 0 } , I 1 = { i ∈ { 1 , 2 , … , n } : λ i ∗ > 0 } . \begin{aligned}I_0&=\{i\in\{1,2,\ldots,n\}:\lambda_i^*=0\},\\I_1&=\{i\in\{1,2,\ldots,n\}:\lambda_i^*>0\}.\end{aligned} I0I1={i∈{1,2,…,n}:λi∗=0},={i∈{1,2,…,n}:λi∗>0}.由 I 0 , I 1 I_0,I_1 I0,I1的定义, ∑ i ∈ I 1 λ i ∗ = ∑ i = 1 n λ i ∗ = 1. \sum_{i\in I_1}\lambda_i^*=\sum_{i=1}^n\lambda_i^*=1. i∈I1∑λi∗=i=1∑nλi∗=1.对于 i ∈ I 0 i\in I_0 i∈I0, 必有 x i = 0 x_i=0 xi=0. 否则 φ ( x i , λ i ∗ ) = ∞ \varphi(x_i,\lambda_i^*)=\infty φ(xi,λi∗)=∞. 由Cauchy-Schwarz不等式, ∑ j = 1 n ∣ x j ∣ = ∑ j ∈ I 1 ∣ x j ∣ = ∑ j ∈ I 1 ∣ x j ∣ λ j ∗ λ j ∗ ≤ ∑ j ∈ I 1 x j 2 λ j ∗ ⋅ ∑ j ∈ I 1 λ j ∗ = ∑ j ∈ I i x j 2 λ j ∗ . \sum_{j=1}^n|x_j|=\sum_{j\in I_1}|x_j|=\sum_{j\in I_1}\frac{|x_j|}{\sqrt{\lambda_j^*}}\sqrt{\lambda_j^*}\le\sqrt{\sum_{j\in I_1}\frac{x_j^2}{\lambda_j^*}}\cdot\sqrt{\sum_{j\in I_1}\lambda_j^*}=\sqrt{\sum_{j\in I_i}\frac{x_j^2}{\lambda_j^*}}. j=1∑n∣xj∣=j∈I1∑∣xj∣=j∈I1∑λj∗∣xj∣λj∗≤j∈I1∑λj∗xj2⋅j∈I1∑λj∗=j∈Ii∑λj∗xj2.于是 ∑ j = 1 n φ ( x j , λ j ∗ ) = ∑ j ∈ I 1 φ ( x j , λ j ∗ ) = ∑ j ∈ I 1 x j 2 λ j ∗ ≥ ∥ x ∥ 1 2 . \sum_{j=1}^n\varphi(x_j,\lambda_j^*)=\sum_{j\in I_1}\varphi(x_j,\lambda_j^*)=\sum_{j\in I_1}\frac{x_j^2}{\lambda_j^*}\ge\Vert\mathbf{x}\Vert_1^2. j=1∑nφ(xj,λj∗)=j∈I1∑φ(xj,λj∗)=j∈I1∑λj∗xj2≥∥x∥12.另一方面, 由于 λ ∗ \bm{\lambda}^* λ∗是问题的最优解, 所以 ∑ j = 1 n φ ( x j , λ j ∗ ) ≤ ∑ j = 1 n φ ( x j , λ ~ j ) = ∥ x ∥ 1 2 . \sum_{j=1}^n\varphi(x_j,\lambda_j^*)\le\sum_{j=1}^n\varphi(x_j,\tilde\lambda_j)=\Vert\mathbf{x}\Vert_1^2. j=1∑nφ(xj,λj∗)≤j=1∑nφ(xj,λ~j)=∥x∥12.因此, 问题的最优值就是 ∥ x ∥ 1 2 \Vert\mathbf{x}\Vert_1^2 ∥x∥12, 且 λ ~ \tilde\bm{\lambda} λ~是一个最优解.
引理7 ( ∥ ⋅ ∥ 1 2 \Vert\cdot\Vert_1^2 ∥⋅∥12的prox) 设 f : R n → R f:\mathbb{R}^n\to\mathbb{R} f:Rn→R定义为 f ( x ) = ∥ x ∥ 1 2 f(\mathbf{x})=\Vert\mathbf{x}\Vert_1^2 f(x)=∥x∥12, ρ > 0 \rho>0 ρ>0. 则 p r o x ρ f ( x ) = { ( λ i x i λ i + 2 ρ ) i = 1 n , x ≠ 0 , 0 , x = 0 , \mathrm{prox}_{\rho f}(\mathbf{x})=\left\{\begin{array}{ll}\left(\frac{\lambda_ix_i}{\lambda_i+2\rho}\right)_{i=1}^n, & \mathbf{x\ne0},\\\mathbf{0}, & \mathbf{x=0},\end{array}\right. proxρf(x)={(λi+2ρλixi)i=1n,0,x=0,x=0,其中 λ i = [ ρ ∣ x i ∣ μ ∗ − 2 ρ ] + \lambda_i=\left[\frac{\sqrt{\rho}|x_i|}{\sqrt{\mu^*}}-2\rho\right]_+ λi=[μ∗ρ∣xi∣−2ρ]+, μ ∗ \mu^* μ∗为单调递减函数 ψ ( μ ) = ∑ i = 1 n [ ρ ∣ x i ∣ μ − 2 ρ ] + − 1 \psi(\mu)=\sum_{i=1}^n\left[\frac{\sqrt{\rho}|x_i|}{\sqrt{\mu}}-2\rho\right]_+-1 ψ(μ)=i=1∑n[μρ∣xi∣−2ρ]+−1的任一正根.
证明: 若 x = 0 \mathbf{x=0} x=0, 则显然有 p r o x ρ f ( x ) = arg min u { 1 2 ∥ u ∥ 2 2 + ρ ∥ u ∥ 1 2 } = 0 \mathrm{prox}_{\rho f}(\mathbf{x})=\arg\min_{\mathbf{u}}\{\frac{1}{2}\Vert\mathbf{u}\Vert_2^2+\rho\Vert\mathbf{u}\Vert_1^2\}=\mathbf{0} proxρf(x)=argminu{21∥u∥22+ρ∥u∥12}=0. 现假设 x ≠ 0 \mathbf{x\ne0} x=0. 由引理6, u = p r o x ρ f ( x ) \mathbf{u}=\mathrm{prox}_{\rho f}(\mathbf{x}) u=proxρf(x)当且仅当它就是 min u ∈ R n , λ ∈ Δ n { 1 2 ∥ u − x ∥ 2 2 + ρ ∑ i = 1 n φ ( u i , λ i ) } \min_{\mathbf{u}\in\mathbb{R}^n,\,\bm{\lambda}\in\Delta_n}\left\{\frac{1}{2}\Vert\mathbf{u-x}\Vert_2^2+\rho\sum_{i=1}^n\varphi(u_i,\lambda_i)\right\} u∈Rn,λ∈Δnmin{21∥u−x∥22+ρi=1∑nφ(ui,λi)}最优解中的 u \mathbf{u} u. 首先对 u \mathbf{u} u极小化, 就有 u i = λ i x i λ i + 2 ρ u_i=\frac{\lambda_ix_i}{\lambda_i+2\rho} ui=λi+2ρλixi11, 问题变成 min λ ∑ i = 1 n ρ x i 2 λ + 2 ρ s . t . e T λ = 1 , λ ≥ 0. \begin{array}{ll}\min_{\bm{\lambda}} & \sum\limits_{i=1}^n\dfrac{\rho x_i^2}{\lambda+2\rho}\\\mathrm{s.t.} & \mathbf{e}^T\bm{\lambda}=1,\\&\bm{\lambda}\ge\mathbf{0}.\end{array} minλs.t.i=1∑nλ+2ρρxi2eTλ=1,λ≥0.注意到此问题满足强对偶性. Lagrange函数为 L ( λ ; μ ) = ∑ i = 1 n ( ρ x i 2 λ + 2 ρ + λ i μ ) − μ . L(\bm{\lambda};\mu)=\sum_{i=1}^n\left(\frac{\rho x_i^2}{\lambda+2\rho}+\lambda_i\mu\right)-\mu. L(λ;μ)=i=1∑n(λ+2ρρxi2+λiμ)−μ. λ ∗ \bm{\lambda}^* λ∗为最优解当且仅当存在 μ ∗ \mu^* μ∗使得 λ ∗ ∈ arg min λ ≥ 0 L ( λ ; μ ∗ ) , e T λ ∗ = 1. \begin{aligned}\bm{\lambda}^*&\in\arg\min_{\bm{\lambda}\ge\mathbf{0}}L(\bm{\lambda};\mu^*),\\\mathbf{e}^T\bm{\lambda}^*&=1.\end{aligned} λ∗eTλ∗∈argλ≥0minL(λ;μ∗),=1.由于最小值有限且可取到, 又 x ≠ 0 \mathbf{x\ne0} x=0, 因此必有 μ ∗ > 0 \mu^*>0 μ∗>0(若 μ ∗ = 0 \mu^*=0 μ∗=0, 则最小值无法取到; 若 μ ∗ < 0 \mu^*<0 μ∗<0, 则最小值为 − ∞ -\infty −∞). 求导置零可得 λ i ∗ = [ ρ ∣ x i ∣ μ − 2 ρ ] + . \lambda_i^*=\left[\frac{\sqrt{\rho}|x_i|}{\sqrt{\mu}}-2\rho\right]_+. λi∗=[μρ∣xi∣−2ρ]+.因此 μ ∗ \mu^* μ∗就必须满足 ∑ i = 1 n [ ρ ∣ x i ∣ μ − 2 ρ ] + = 1. \sum_{i=1}^n\left[\frac{\sqrt{\rho}|x_i|}{\sqrt{\mu}}-2\rho\right]_+=1. i=1∑n[μρ∣xi∣−2ρ]+=1.
8.3 到 s s s-稀疏向量集上的正交投影
设 s ∈ { 1 , 2 , … , n } s\in\{1,2,\ldots,n\} s∈{1,2,…,n}, 考虑集合 C s = { x ∈ R n : ∥ x ∥ 0 ≤ s } . C_s=\{\mathbf{x}\in\mathbb{R}^n:\Vert\mathbf{x}\Vert_0\le s\}. Cs={x∈Rn:∥x∥0≤s}.集合 C s C_s Cs包含了所有 s s s-稀疏向量, 即那些至多有 s s s个非零元的向量.
- C s C_s Cs不是凸集. 例如 n = 2 n=2 n=2, ( 0 , 1 ) T , ( 1 , 0 ) T ∈ C 1 (0,1)^T,(1,0)^T\in C_1 (0,1)T,(1,0)T∈C1, 但 ( 0.5 , 0.5 ) T = 0.5 ( 0 , 1 ) T + 0.5 ( 1 , 0 ) T ∉ C 1 (0.5,0.5)^T=0.5(0,1)^T+0.5(1,0)^T\notin C_1 (0.5,0.5)T=0.5(0,1)T+0.5(1,0)T∈/C1.
- C s C_s Cs是闭集. 它是闭函数 ∥ ⋅ ∥ 0 \Vert\cdot\Vert_0 ∥⋅∥0的水平集(见第二章例3).
由定理2, P C s = p r o x δ C s P_{C_s}=\mathrm{prox}_{\delta_{C_s}} PCs=proxδCs非空, 但未必是单点集.
为进一步给出 P C s P_{C_s} PCs的表示, 下面引入一些记号: 对 x ∈ R n \mathbf{x}\in\mathbb{R}^n x∈Rn与某个指标集 S ⊂ { 1 , 2 , … , n } S\subset\{1,2,\ldots,n\} S⊂{1,2,…,n},
- x S \mathbf{x}_S xS是 x \mathbf{x} x中那些指标在 S S S中的分量组成的向量;
- 矩阵 U S \mathbf{U}_S US是单位阵中那些指标在 S S S中的列向量组成的子阵;
- 集合 S c S^c Sc是 S S S在 { 1 , 2 , … , n } \{1,2,\ldots,n\} {1,2,…,n}的补集: S c = { 1 , 2 , … , n } ∖ S S^c=\{1,2,\ldots,n\}\setminus S Sc={1,2,…,n}∖S;
- x ⟨ i ⟩ x_{\langle i\rangle} x⟨i⟩是 x \mathbf{x} x按模第 i i i大的分量.
下面的引理8表明, P C s ( x ) P_{C_s}(\mathbf{x}) PCs(x)由具有 x \mathbf{x} x按模前 s s s大的分量组成的向量构成. 正是因为 x \mathbf{x} x中可能有相同的分量, P C s ( x ) P_{C_s}(\mathbf{x}) PCs(x)才有可能不是单点集.
引理8 (到 C s C_s Cs上的正交投影) 设 s ∈ { 1 , 2 , … , n } , x ∈ R n s\in\{1,2,\ldots,n\},\,\mathbf{x}\in\mathbb{R}^n s∈{1,2,…,n},x∈Rn. 则 P C s ( x ) = { U S x S : ∣ S ∣ = s , S ⊂ { 1 , 2 , … , n } , ∑ i ∈ S ∣ x i ∣ = ∑ i = 1 s ∣ x ⟨ i ⟩ ∣ } . P_{C_s}(\mathbf{x})=\left\{\mathbf{U}_S\mathbf{x}_S:|S|=s,\,S\subset\{1,2,\ldots,n\},\,\sum_{i\in S}|x_i|=\sum_{i=1}^s\left|x_{\langle i\rangle}\right|\right\}. PCs(x)={USxS:∣S∣=s,S⊂{1,2,…,n},i∈S∑∣xi∣=i=1∑s∣∣x⟨i⟩∣∣}.
证明: 按 C s C_s Cs的定义, 它可以写成 C s = ⋃ S ⊂ { 1 , 2 , … , n } , ∣ S ∣ = s A S , C_s=\bigcup_{S\subset\{1,2,\ldots,n\},\,|S|=s}A_S, Cs=S⊂{1,2,…,n},∣S∣=s⋃AS,其中 A S = { x ∈ R n : x S c = 0 } A_S=\{\mathbf{x}\in\mathbb{R}^n:\mathbf{x}_{S^c}=\mathbf{0}\} AS={x∈Rn:xSc=0}. 注意这里 A S A_S AS是闭凸集, 因此我们可以把 P A S ( x ) P_{A_S}(\mathbf{x}) PAS(x)看成是向量. 而对于有限个闭凸集 A S A_S AS, 我们有 P C s ( x ) = P ⋃ S ⊂ { 1 , 2 , … , n } , ∣ S ∣ = s A S ( x ) ⊂ ⋃ S ⊂ { 1 , 2 , … , n } , ∣ S ∣ = s { P A S ( x ) } . P_{C_s}(\mathbf{x})=P_{\bigcup_{S\subset\{1,2,\ldots,n\},|S|=s}A_S}(\mathbf{x})\subset\bigcup_{S\subset\{1,2,\ldots,n\},\,|S|=s}\{P_{A_S}(\mathbf{x})\}. PCs(x)=P⋃S⊂{1,2,…,n},∣S∣=sAS(x)⊂S⊂{1,2,…,n},∣S∣=s⋃{PAS(x)}.事实上, 对 ∀ y ∈ P C s ( x ) \forall\mathbf{y}\in P_{C_s}(\mathbf{x}) ∀y∈PCs(x), y ∈ C s = ⋃ S ⊂ { 1 , 2 , … , n } , ∣ S ∣ = s A S \mathbf{y}\in C_s=\bigcup_{S\subset\{1,2,\ldots,n\},\,|S|=s}A_S y∈Cs=⋃S⊂{1,2,…,n},∣S∣=sAS. 因此必存在某个 S ⊂ { 1 , 2 , … , n } : ∣ S ∣ = s S\subset\{1,2,\ldots,n\}:|S|=s S⊂{1,2,…,n}:∣S∣=s, 使得 y ∈ A S \mathbf{y}\in A_S y∈AS. 一方面, y ∈ P C s ( x ) ⇒ ∥ y − x ∥ = min u ∈ C s ∥ u − x ∥ ≤ min u ∈ A S ∥ u − x ∥ , \mathbf{y}\in P_{C_s}(\mathbf{x})\Rightarrow\Vert\mathbf{y}-\mathbf{x}\Vert=\min_{\mathbf{u}\in C_s}\Vert\mathbf{u-x}\Vert\le\min_{\mathbf{u}\in A_S}\Vert\mathbf{u-x}\Vert, y∈PCs(x)⇒∥y−x∥=u∈Csmin∥u−x∥≤u∈ASmin∥u−x∥,另一方面, y ∈ A S ⇒ ∥ y − x ∥ ≥ min u ∈ A S ∥ u − x ∥ . \mathbf{y}\in A_S\Rightarrow\Vert\mathbf{y-x}\Vert\ge\min_{\mathbf{u}\in A_S}\Vert\mathbf{u-x}\Vert. y∈AS⇒∥y−x∥≥u∈ASmin∥u−x∥.联立二者可得 ∥ y − x ∥ = min u ∈ A S ∥ u − x ∥ ⇒ y = P A S ( x ) ∈ ⋃ S ⊂ { 1 , 2 , … , n } , ∣ S ∣ = s { P A S ( x ) } . \Vert\mathbf{y-x}\Vert=\min_{\mathbf{u}\in A_S}\Vert\mathbf{u-x}\Vert\Rightarrow\mathbf{y}=P_{A_S}(\mathbf{x})\in\bigcup_{S\subset\{1,2,\ldots,n\},\,|S|=s}\{P_{A_S}(\mathbf{x})\}. ∥y−x∥=u∈ASmin∥u−x∥⇒y=PAS(x)∈S⊂{1,2,…,n},∣S∣=s⋃{PAS(x)}.由以上分析还可知, P C s ( x ) = { P A S ( x ) : ∥ P A S ( x ) − x ∥ = min S ′ ⊂ { 1 , 2 , … , n } , ∣ S ′ ∣ = s ∥ P A S ′ ( x ) − x ∥ } . P_{C_s}(\mathbf{x})=\left\{P_{A_S}(\mathbf{x}):\Vert P_{A_S}(\mathbf{x})-\mathbf{x}\Vert=\min_{S'\subset\{1,2,\ldots,n\},\,|S'|=s}\left\Vert P_{A_{S'}}(\mathbf{x})-\mathbf{x}\right\Vert\right\}. PCs(x)={PAS(x):∥PAS(x)−x∥=S′⊂{1,2,…,n},∣S′∣=smin∥∥PAS′(x)−x∥∥}.而 P A S ( x ) P_{A_S}(\mathbf{x}) PAS(x)则是问题 min y ∈ R n { ∥ y − x ∥ 2 2 : y S c = 0 } = min y ∈ R n { ∥ y S − x S ∥ 2 2 + ∥ x S c ∥ 2 2 : y S c = 0 } \min_{\mathbf{y}\in\mathbb{R}^n}\left\{\Vert\mathbf{y-x}\Vert_2^2:\mathbf{y}_{S^c}=\mathbf{0}\right\}=\min_{\mathbf{y}\in\mathbb{R}^n}\left\{\Vert\mathbf{y}_S-\mathbf{x}_S\Vert_2^2+\Vert\mathbf{x}_{S^c}\Vert_2^2:\mathbf{y}_{S^c}=\mathbf{0}\right\} y∈Rnmin{∥y−x∥22:ySc=0}=y∈Rnmin{∥yS−xS∥22+∥xSc∥22:ySc=0}的最优解, 显然是 y S = x S , y S c = 0 \mathbf{y}_S=\mathbf{x}_S,\,\mathbf{y}_{S^c}=\mathbf{0} yS=xS,ySc=0, 即 y = U S x S \mathbf{y}=\mathbf{U}_S\mathbf{x}_S y=USxS, 从而最优值为 ∥ x S c ∥ 2 2 \Vert\mathbf{x}_{S^c}\Vert_2^2 ∥xSc∥22. 因此 P C s ( x ) P_{C_s}(\mathbf{x}) PCs(x)中的向量会形如 U S x S \mathbf{U}_S\mathbf{x}_S USxS, 其中 S S S基数为 s s s, 且应当具有最小的 ∥ x S c ∥ 2 2 \Vert\mathbf{x}_{S^c}\Vert_2^2 ∥xSc∥22. 这就等价于 S : ∣ S ∣ = s , S ⊂ { 1 , 2 , … , n } , ∑ i ∈ S ∣ x i ∣ = ∑ i = 1 s ∣ x ⟨ i ⟩ ∣ . S:|S|=s,\,S\subset\{1,2,\ldots,n\},\,\sum_{i\in S}|x_i|=\sum_{i=1}^s\left|x_{\langle i\rangle}\right|. S:∣S∣=s,S⊂{1,2,…,n},i∈S∑∣xi∣=i=1∑s∣∣x⟨i⟩∣∣.
例31 假定 n = 4 n=4 n=4. 则 P C 2 [ ( 2 , 3 , − 2 , 1 ) T ] = { ( 2 , 3 , 0 , 0 ) T , ( 0 , 3 , − 2 , 0 ) T } . P_{C_2}\left[(2,3,-2,1)^T\right]=\left\{(2,3,0,0)^T,(0,3,-2,0)^T\right\}. PC2[(2,3,−2,1)T]={(2,3,0,0)T,(0,3,−2,0)T}.
9. 特殊函数的临近计算小结
f ( x ) f(\mathbf{x}) f(x) | d o m ( f ) \mathrm{dom}(f) dom(f) | p r o x f ( x ) \mathrm{prox}_f(\mathbf{x}) proxf(x) | 假设条件 | 参考 |
---|---|---|---|---|
1 2 x T A x + b T x + c \frac{1}{2}\mathbf{x}^T\mathbf{Ax}+\mathbf{b}^T\mathbf{x}+c 21xTAx+bTx+c | R n \mathbb{R}^n Rn | ( A + I ) − 1 ( x − b ) (\mathbf{A+I})^{-1}\mathbf{(x-b)} (A+I)−1(x−b) | A ∈ S + n , b ∈ R n , c ∈ R \mathbf{A}\in\mathbb{S}_+^n,\,\mathbf{b}\in\mathbb{R}^n,\,c\in\mathbb{R} A∈S+n,b∈Rn,c∈R | 2.3节 |
λ x 3 \lambda x^3 λx3 | R + \mathbb{R}_+ R+ | − 1 + 1 + 12 λ [ x ] + 6 λ \frac{-1+\sqrt{1+12\lambda[x]_+}}{6\lambda} 6λ−1+1+12λ[x]+ | λ > 0 \lambda>0 λ>0 | 引理1 |
μ x \mu x μx | [ 0 , α ] ∩ R [0,\alpha]\cap\mathbb{R} [0,α]∩R | min { max { x − μ , 0 } , α } \min\{\max\{x-\mu,0\},\alpha\} min{max{x−μ,0},α} | μ ∈ R , α ∈ [ 0 , ∞ ] \mu\in\mathbb{R},\,\alpha\in[0,\infty] μ∈R,α∈[0,∞] | 例5 |
λ ∥ x ∥ \lambda\Vert\mathbf{x}\Vert λ∥x∥ | E \mathbb{E} E | ( 1 − λ max { ∥ x ∥ , λ } ) x \left(1-\frac{\lambda}{\max\{\Vert\mathbf{x}\Vert,\lambda\}}\right)\mathbf{x} (1−max{∥x∥,λ}λ)x | ∥ ⋅ ∥ \Vert\cdot\Vert ∥⋅∥为欧式范数, λ > 0 \lambda>0 λ>0 | 例8 |
− λ ∥ x ∥ -\lambda\Vert\mathbf{x}\Vert −λ∥x∥ | E \mathbb{E} E | ( 1 + λ ∥ x ∥ ) x , x ≠ 0 , { u : ∥ u ∥ = λ } , x = 0 . \begin{array}{ll}\left(1+\frac{\lambda}{\Vert\mathbf{x}\Vert}\right)\mathbf{x}, & \mathbf{x\ne0},\\\{\mathbf{u}:\Vert\mathbf{u}\Vert=\lambda\}, & \mathbf{x=0}.\end{array} (1+∥x∥λ)x,{u:∥u∥=λ},x=0,x=0. | ∥ ⋅ ∥ \Vert\cdot\Vert ∥⋅∥为欧式范数, λ > 0 \lambda>0 λ>0 | 例10 |
λ ∥ x ∥ 1 \lambda\Vert\mathbf{x}\Vert_1 λ∥x∥1 | R n \mathbb{R}^n Rn | T λ ( x ) = [ a b s ( x ) − λ e ] + ⊙ s g n ( x ) \mathcal{T}_{\lambda}(\mathbf{x})=[\mathrm{abs}(\mathbf{x})-\lambda\mathbf{e}]_+\odot\mathrm{sgn}(\mathbf{x}) Tλ(x)=[abs(x)−λe]+⊙sgn(x) | λ > 0 \lambda>0 λ>0 | 例2 |
∥ ω ⊙ x ∥ 1 \Vert\bm{\omega}\odot\mathbf{x}\Vert_1 ∥ω⊙x∥1 | Box [ − α , α ] \text{Box}[-\bm{\alpha},\bm{\alpha}] Box[−α,α] | S ω , α ( x ) \mathcal{S}_{\bm{\omega},\bm{\alpha}}(\mathbf{x}) Sω,α(x) | α ∈ [ 0 , ∞ ] n , ω ∈ R + n \bm{\alpha}\in[0,\infty]^n,\,\bm{\omega}\in\mathbb{R}_+^n α∈[0,∞]n,ω∈R+n | 例12 |
λ ∥ x ∥ ∞ \lambda\Vert\mathbf{x}\Vert_{\infty} λ∥x∥∞ | R n \mathbb{R}^n Rn | x − λ P B ∥ ⋅ ∥ 1 [ 0 , 1 ] ( x / λ ) \mathbf{x}-\lambda P_{B_{\Vert\cdot\Vert_1}[\mathbf{0},1]}(\mathbf{x}/\lambda) x−λPB∥⋅∥1[0,1](x/λ) | λ > 0 \lambda>0 λ>0 | 例20 |
λ ∥ x ∥ a \lambda\Vert\mathbf{x}\Vert_a λ∥x∥a | E \mathbb{E} E | x − λ P B ∥ ⋅ ∥ a , ∗ [ 0 , 1 ] ( x / λ ) \mathbf{x}-\lambda P_{B_{\Vert\cdot\Vert_{a,*}}[\mathbf{0},1]}(\mathbf{x}/\lambda) x−λPB∥⋅∥a,∗[0,1](x/λ) | ∥ ⋅ ∥ a \Vert\cdot\Vert_a ∥⋅∥a为任一范数, λ > 0 \lambda>0 λ>0 | 例19 |
λ ∥ x ∥ 0 \lambda\Vert\mathbf{x}\Vert_0 λ∥x∥0 | R n \mathbb{R}^n Rn | H 2 λ ( x 1 ) × ⋯ × H 2 λ ( x n ) \mathcal{H}_{\sqrt{2\lambda}}(x_1)\times\cdots\times\mathcal{H}_{\sqrt{2\lambda}}(x_n) H2λ(x1)×⋯×H2λ(xn) | λ > 0 \lambda>0 λ>0 | 例4 |
λ ∥ x ∥ 3 \lambda\Vert\mathbf{x}\Vert^3 λ∥x∥3 | E \mathbb{E} E | 2 1 + 1 + 12 λ ∥ x ∥ x \frac{2}{1+\sqrt{1+12\lambda\Vert\mathbf{x}\Vert}}\mathbf{x} 1+1+12λ∥x∥2x | ∥ ⋅ ∥ \Vert\cdot\Vert ∥⋅∥为欧式范数, λ > 0 \lambda>0 λ>0 | 例9 |
− λ ∑ j = 1 n log x j -\lambda\sum_{j=1}^n\log x_j −λ∑j=1nlogxj | R + + n \mathbb{R}_{++}^n R++n | ( x j + x j 2 + 4 λ 2 ) j = 1 n \left(\frac{x_j+\sqrt{x_j^2+4\lambda}}{2}\right)_{j=1}^n (2xj+xj2+4λ)j=1n | λ > 0 \lambda>0 λ>0 | 例3 |
δ C ( x ) \delta_C(\mathbf{x}) δC(x) | E \mathbb{E} E | P C ( x ) P_C(\mathbf{x}) PC(x) | ∅ ≠ C ⊂ E \emptyset\ne C\subset\mathbb{E} ∅=C⊂E | 定理9 |
λ σ C ( x ) \lambda\sigma_C(\mathbf{x}) λσC(x) | E \mathbb{E} E | x − λ P C ( x / λ ) \mathbf{x}-\lambda P_C(\mathbf{x}/\lambda) x−λPC(x/λ) | λ > 0 , C ≠ ∅ \lambda>0,\,C\ne\emptyset λ>0,C=∅闭凸 | 定理19 |
λ max { x i } \lambda\max\{x_i\} λmax{xi} | R n \mathbb{R}^n Rn | x − λ P Δ n ( x / λ ) \mathbf{x}-\lambda P_{\Delta_n}(\mathbf{x}/\lambda) x−λPΔn(x/λ) | λ > 0 \lambda>0 λ>0 | 例21 |
λ ∑ i = 1 k x [ i ] \lambda\sum_{i=1}^kx_{[i]} λ∑i=1kx[i] | R n \mathbb{R}^n Rn | x − λ P C ( x / λ ) , C = H e , k ∩ Box [ 0 , e ] \mathbf{x}-\lambda P_C(\mathbf{x}/\lambda),\,C=H_{\mathbf{e},k}\cap\text{Box}[\mathbf{0,e}] x−λPC(x/λ),C=He,k∩Box[0,e] | λ > 0 \lambda>0 λ>0 | 例22 |
λ ∑ i = 1 k a b s ( x ⟨ i ⟩ ) \lambda\sum_{i=1}^k\mathrm{abs}\left(x_{\langle i\rangle}\right) λ∑i=1kabs(x⟨i⟩) | R n \mathbb{R}^n Rn | x − λ P C ( x / λ ) , C = B ∥ ⋅ ∥ 1 [ 0 , k ] ∩ Box [ − e , e ] \mathbf{x}-\lambda P_C(\mathbf{x}/\lambda),\,C=B_{\Vert\cdot\Vert_1}[\mathbf{0},k]\cap\text{Box}[\mathbf{-e,e}] x−λPC(x/λ),C=B∥⋅∥1[0,k]∩Box[−e,e] | λ > 0 \lambda>0 λ>0 | 例23 |
λ M f μ ( x ) \lambda M_f^{\mu}(\mathbf{x}) λMfμ(x) | E \mathbb{E} E | x + λ μ + λ ( p r o x ( μ + λ ) f ( x ) − x ) \mathbf{x}+\frac{\lambda}{\mu+\lambda}\left(\mathrm{prox}_{(\mu+\lambda)f}(\mathbf{x})-\mathbf{x}\right) x+μ+λλ(prox(μ+λ)f(x)−x) | λ , u > 0 , f \lambda,\,u>0,\,f λ,u>0,f正常闭凸 | 推论4 |
λ d C ( x ) \lambda d_C(\mathbf{x}) λdC(x) | E \mathbb{E} E | x + min { λ d C ( x ) , 1 } ( P C ( x ) − x ) \mathbf{x}+\min\left\{\frac{\lambda}{d_C(\mathbf{x})},1\right\}(P_C(\mathbf{x})-\mathbf{x}) x+min{dC(x)λ,1}(PC(x)−x) | ∅ ≠ C \emptyset\ne C ∅=C闭凸, λ > 0 \lambda>0 λ>0 | 引理3 |
λ 2 d C 2 ( x ) \frac{\lambda}{2}d_C^2(\mathbf{x}) 2λdC2(x) | E \mathbb{E} E | λ λ + 1 P C ( x ) + 1 λ + 1 x \frac{\lambda}{\lambda+1}P_C(\mathbf{x})+\frac{1}{\lambda+1}\mathbf{x} λ+1λPC(x)+λ+11x | ∅ ≠ C \emptyset\ne C ∅=C闭凸, λ > 0 \lambda>0 λ>0 | 例29 |
λ H μ ( x ) \lambda H_{\mu}(\mathbf{x}) λHμ(x) | E \mathbb{E} E | ( 1 − λ max { ∥ x ∥ , μ + λ } ) x \left(1-\frac{\lambda}{\max\{\Vert\mathbf{x}\Vert,\mu+\lambda\}}\right)\mathbf{x} (1−max{∥x∥,μ+λ}λ)x | λ , μ > 0 \lambda,\,\mu>0 λ,μ>0 | 例30 |
ρ ∥ x ∥ 1 2 \rho\Vert\mathbf{x}\Vert_1^2 ρ∥x∥12 | R n \mathbb{R}^n Rn | ( v i x i v i + 2 ρ ) i = 1 n , v = [ ρ μ a b s ( x ) − 2 ρ ] + , e T v = 1 \left(\frac{v_ix_i}{v_i+2\rho}\right)_{i=1}^n,\,\mathbf{v}=\left[\sqrt{\frac{\rho}{\mu}}\mathrm{abs}(\mathbf{x})-2\rho\right]_+,\,\mathbf{e}^T\mathbf{v}=1 (vi+2ρvixi)i=1n,v=[μρabs(x)−2ρ]+,eTv=1 | ρ > 0 \rho>0 ρ>0 | 引理7 |
λ ∥ A x ∥ 2 \lambda\Vert\mathbf{Ax}\Vert_2 λ∥Ax∥2 | R n \mathbb{R}^n Rn | x − A T ( A A T + α ∗ I ) − 1 A x , α ∗ = 0 , 若 ∥ v 0 ∥ ≤ λ ; 否 则 , ∥ v α ∗ ∥ 2 = λ ; v α ≡ ( A A T + α I ) − 1 A x \mathbf{x}-\mathbf{A}^T\left(\mathbf{AA}^T+\alpha^*\mathbf{I}\right)^{-1}\mathbf{Ax},\,\alpha^*=0,\,若\Vert\mathbf{v}_0\Vert\le\lambda; 否则,\,\Vert\mathbf{v}_{\alpha^*}\Vert_2=\lambda;\,\mathbf{v}_{\alpha}\equiv\left(\mathbf{AA}^T+\alpha\mathbf{I}\right)^{-1}\mathbf{Ax} x−AT(AAT+α∗I)−1Ax,α∗=0,若∥v0∥≤λ;否则,∥vα∗∥2=λ;vα≡(AAT+αI)−1Ax | A ∈ R m × n \mathbf{A}\in\mathbb{R}^{m\times n} A∈Rm×n行满秩, λ > 0 \lambda>0 λ>0 | 引理5 |
英文中, 我们常将“proximal”简写成“prox”. ↩︎
若 f : R n → R f:\mathbb{R}^n\to\mathbb{R} f:Rn→R是正常闭凸可分函数, f ( x ) = ∑ i = 1 n f i ( x i ) , f(\mathbf{x})=\sum_{i=1}^nf_i(x_i), f(x)=i=1∑nfi(xi),其中的 f i f_i fi是正常闭凸的一元函数, 则根据第一临近定理, 定理3的结论就可写成 p r o x f ( x ) = ( p r o x f i ( x i ) ) i = 1 n . \mathrm{prox}_f(\mathbf{x})=\left(\mathrm{prox}_{f_i}(x_i)\right)_{i=1}^n. proxf(x)=(proxfi(xi))i=1n. ↩︎
z ~ , u ~ \tilde\mathbf{z},\tilde\mathbf{u} z~,u~的存在唯一性可由 g g g是正常闭凸函数得到. ↩︎
等价性来源于 d o m ( g ) ⊂ [ 0 , ∞ ) \mathrm{dom}(g)\subset[0,\infty) dom(g)⊂[0,∞). ↩︎
因为 g g g正常闭凸, 所以这是唯一的. ↩︎
投影到盒型区域 Box [ ℓ , u ] \text{Box}[\mathbf{\ell,u}] Box[ℓ,u]可以用引理2的结论逐元素进行; 求方程 a T P Box ( x − μ a ) = b \mathbf{a}^TP_{\text{Box}}(\mathbf{x-\mu a})=b aTPBox(x−μa)=b的解则可以用二分法等简单的求根法. 这是因为 φ ( μ ) = a T P Box ( x − μ a ) − b \varphi(\mu)=\mathbf{a}^TP_{\text{Box}}(\mathbf{x-\mu a})-b φ(μ)=aTPBox(x−μa)−b是单调函数. 事实上, φ ( μ ) = ∑ i = 1 n a i min { max { x i − μ a i , ℓ i } , u i } − b \varphi(\mu)=\sum_{i=1}^na_i\min\{\max\{x_i-\mu a_i,\ell_i\},u_i\}-b φ(μ)=∑i=1naimin{max{xi−μai,ℓi},ui}−b, 且对 ∀ i \forall i ∀i, μ ↦ a i min { max { x i − μ a i , ℓ i } , u i } \mu\mapsto a_i\min\{\max\{x_i-\mu a_i,\ell_i\},u_i\} μ↦aimin{max{xi−μai,ℓi},ui}都是非增函数. ↩︎
定理假设 f f f是闭函数, 但这并不一定能推出 d o m ( f ) \mathrm{dom}(f) dom(f)是闭集. 此时 P d o m ( f ) ( x ) P_{\mathrm{dom}(f)}(\mathbf{x}) Pdom(f)(x)就不一定存在. 反例可见例16. ↩︎
这里 θ \theta θ只在 d C ( x ) > λ > 0 d_C(\mathbf{x})>\lambda>0 dC(x)>λ>0的时候用到, 所以 θ \theta θ是良定的. ↩︎
注意不要与第五章的光滑参数 L L L混淆. ↩︎
Moreau包络的定义实际上是在原函数 f f f的基础上加了一个强凸项 1 2 μ ∥ x − u ∥ 2 \frac{1}{2\mu}\Vert\mathbf{x-u}\Vert^2 2μ1∥x−u∥2. 由定理22我们进一步知道, μ \mu μ越大, M f μ M_f^{\mu} Mfμ的光滑参数就越小. 这时强凸项在优化问题中的作用就越小. 这就是 μ \mu μ被称作光滑参数的原因. ↩︎
注意若 λ i = 0 \lambda_i=0 λi=0, 则此式给出 u i = 0 u_i=0 ui=0. 因此这个式子包含了不连续点的情形. ↩︎