近端算法学习

闭函数

设函数$f:\mathbb{E}\to \left[-\infty ,\infty \right]$
如果$f$的上镜图是闭的，则$f$是闭函数(closed function)

适当函数

设函数$f:\mathbb{E}\to \left[-\infty ,\infty \right]$
如果$\forall \mathbf{x}\in \mathbb{E},f\left(\mathbf{x}\right)>-\infty$
且$\exists \mathbf{x}\in \mathbb{E},f\left(x\right)<+\infty$
则$f$是适当函数(proper function)

共轭函数

设$f:\mathbb{E}\to \left[-\infty ,\infty \right]$,则$f$的共轭函数$f^{\ast }:{\mathbb{E}}^{\ast }\to \left[-\infty ,\infty \right]$定义为
f ∗ ( y ) = max ⁡ x ∈ E { ⟨ y , x ⟩ − f ( x ) } y ∈ E ∗ f^*\left(\mathbf{y}\right)=\max_{\mathbf{x}\in\mathbb{E}}\left\{\left\langle\mathbf{y},\mathbf{x}\right\rangle -f\left(\mathbf{x}\right)\right\}\quad \mathbf{y}\in\mathbb{E}^* f∗(y)=x∈Emax​{⟨y,x⟩−f(x)}y∈E∗
如果$f:\mathbb{E}\to \left(-\infty ,\infty \right]$,则$f$的共轭函数$f^{\ast }$是闭的且凸的

设$g\left(\mathbf{x}\right)=\alpha f\left(\mathbf{x}\right)$
则$g^{\ast }\left(\mathbf{y}\right)=\alpha f^{\ast }\left(\frac{\mathbf{y}}{\alpha }\right)$

证明：
g ∗ ( y ) = max ⁡ x { ⟨ y , x ⟩ − g ( x ) } = max ⁡ x { ⟨ y , x ⟩ − α f ( x ) } = α max ⁡ x { ⟨ y α , x ⟩ − f ( x ) } = α f ∗ ( y α ) \begin{aligned} g^*\left(\mathbf{y}\right)&=\max_{\mathbf{x}}\left\{\left\langle \mathbf{y},\mathbf{x} \right\rangle -g\left(\mathbf{x}\right)\right\}\\ &=\max_{\mathbf{x}}\left\{\left\langle \mathbf{y},\mathbf{x} \right\rangle -\alpha f\left(\mathbf{x}\right)\right\}\\ &=\alpha\max_{\mathbf{x}}\left\{\left\langle \frac{\mathbf{y}}{\alpha},\mathbf{x} \right\rangle - f\left(\mathbf{x}\right)\right\}\\ &=\alpha f^*\left(\frac{\mathbf{y}}{\alpha}\right) \end{aligned} g∗(y)​=xmax​{⟨y,x⟩−g(x)}=xmax​{⟨y,x⟩−αf(x)}=αxmax​{⟨αy​,x⟩−f(x)}=αf∗(αy​)​

Fenchel不等式

$f$是一个适当函数，则$\forall \mathbf{x}\in \mathbb{E},\mathbf{y}\in {\mathbb{E}}^{\ast }$
$$f\left(\mathbf{x}\right)+f^{\ast }\left(\mathbf{x}\right)\ge ⟨\mathbf{y},\mathbf{x}⟩$$

二次共轭函数

设函数$f:\mathbb{E}\to \left[-\infty ,\infty \right]$，则$f$的二次共轭函数$f^{\ast \ast }$
f ∗ ∗ = max ⁡ y ∈ E ∗ { ⟨ y , x ⟩ − f ∗ ( y ) } , x ∈ E f^{**}=\max_{y\in\mathbb{E}^*}\left\{\left\langle\mathbf{y},\mathbf{x}\right\rangle-f^*\left(\mathbf{y}\right)\right\},\quad\mathbf{x}\in\mathbb{E} f∗∗=y∈E∗max​{⟨y,x⟩−f∗(y)},x∈E
因为
f ( x ) ≥ ⟨ y , x ⟩ − f ∗ ( y ) ⇒ f ( x ) ≥ max ⁡ y ∈ E ∗ { ⟨ y , x ⟩ − f ∗ ( y ) } = f ∗ ∗ f\left(\mathbf{x}\right)\ge \left\langle\mathbf{y},\mathbf{x}\right\rangle-f^*\left(\mathbf{y}\right)\Rightarrow f\left(\mathbf{x}\right)\ge \max_{y\in\mathbb{E}^*}\left\{\left\langle\mathbf{y},\mathbf{x}\right\rangle-f^*\left(\mathbf{y}\right)\right\}=f^{**} f(x)≥⟨y,x⟩−f∗(y)⇒f(x)≥y∈E∗max​{⟨y,x⟩−f∗(y)}=f∗∗
所以$f^{\ast \ast }\le f$

定理1

设函数$f:\mathbb{E}\to \left(-\infty ,\infty \right]$是一个适当凸函数,则$f^{\ast \ast }=f$
证明：
再说

共轭次梯度定理

设函数$f:\mathbb{E}\to \left(-\infty ,\infty \right]$是适当凸函数，则对于任意$\mathbf{x}\in \mathbb{E},\mathbf{y}\in {\mathbb{E}}^{\ast }$下面两个式子等价

(i)$⟨\mathbf{x},\mathbf{y}⟩=f\left(\mathbf{x}\right)+f^{\ast }\left(\mathbf{y}\right)$
(ii)$\mathbf{y}\in \partial f\left(\mathbf{x}\right)$
如果$f$是闭的，则(i)和(ii)等价于
(iii)$\mathbf{x}\in \partial f^{\ast }\left(\mathbf{y}\right)$

证明：
由次微分的定义
$$f\left(\mathbf{z}\right)\ge f\left(\mathbf{x}\right)+⟨\mathbf{y},\mathbf{z}-\mathbf{x}⟩\forall \mathbf{z}\in \mathbb{E}$$
即
$$⟨\mathbf{y},\mathbf{x}⟩-f\left(\mathbf{x}\right)\ge ⟨\mathbf{y},\mathbf{z}⟩-f\left(\mathbf{z}\right)\forall \mathbf{z}\in \mathbb{E}$$
对右边关于$\mathbf{z}$取最大值
$$⟨\mathbf{x},\mathbf{y}⟩-f\left(\mathbf{x}\right)\ge f^{\ast }\left(\mathbf{y}\right)$$
再根据Fenchel不等式，有
$$⟨\mathbf{x},\mathbf{y}⟩=f\left(\mathbf{x}\right)+f^{\ast }\left(\mathbf{y}\right)$$
如果$f$是闭函数，则根据定理1，$f^{\ast \ast }=f$
设$g=f^{\ast }$
$$⟨\mathbf{x},\mathbf{y}⟩=g\left(\mathbf{y}\right)+g^{\ast }\left(\mathbf{x}\right)$$
于是
$$\mathbf{x}\in \partial g\left(\mathbf{y}\right)=\partial f^{\ast }\left(\mathbf{y}\right)$$

近端算子

proximal operator
假设：
1. f : R n → R ∪ { ∞ } f:\mathbb{R}^n\to\mathbb{R}\cup\left\{\infty\right\} f:Rn→R∪{∞}是一个闭，适当，凸函数
2.$\mathrm{dom}f$是使得$f\left(\mathbf{x}\right)$的地方

定义：
${\mathrm{prox}}_f:{\mathbb{R}}^n\to {\mathbb{R}}^n$定义为
$${\mathrm{prox}}_f\left(\mathbf{v}\right)=\arg \underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }\left(f\left(\mathbf{x}\right)+\frac{1}{2}\Vert \mathbf{x}-\mathbf{v}{\Vert }^2\right)$$

$${\mathrm{prox}}_{\lambda f}\left(\mathbf{v}\right)=\arg \underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }\left(f\left(\mathbf{x}\right)+\frac{1}{2\lambda }\Vert \mathbf{x}-\mathbf{v}{\Vert }^2\right)$$

第二近端定理

设$f:\mathbb{E}\to \left(-\infty ,\infty \right]$是一个闭凸函数，则下列3个式子等价
(i) $\mathbf{u}={\mathrm{Prox}}_f\left(\mathbf{x}\right)$
(ii)$\mathbf{x}-\mathbf{u}\in \partial f\left(\mathbf{u}\right)$
(iii)$⟨\mathbf{x}-\mathbf{u},\mathbf{y}-\mathbf{u}⟩\le f\left(\mathbf{u}\right)-f\left(\mathbf{u}\right)\forall \mathbf{y}\in \mathbb{E}$

证明：
$${\mathrm{prox}}_f\left(\mathbf{x}\right)=\arg \underset{\mathbf{v}\in {\mathbb{R}}^n}{\min }\left(f\left(\mathbf{v}\right)+\frac{1}{2}\Vert \mathbf{v}-\mathbf{x}{\Vert }^2\right)$$
所以$0\in \partial f\left(\mathbf{u}\right)+\mathbf{u}-\mathbf{x}$
所以$\mathbf{x}-\mathbf{u}\in \partial f\left(\mathbf{u}\right)$
再根据次梯度定义，(iii)成立

引理

设$g:\mathbb{E}\to \left(-\infty ,\infty \right]$是适当函数，$\lambda \ne 0$
$f\left(\mathbf{x}\right)=\lambda g\left(\frac{\mathbf{x}}{\lambda }\right)$
则
$${\mathrm{prox}}_f\left(\mathbf{x}\right)=\lambda {\mathrm{prox}}_{\frac{g}{\lambda }}\left(\frac{\mathbf{x}}{\lambda }\right)$$
证明：
$$\begin{array}{rl}{\mathrm{prox}}_f\left(\mathbf{x}\right)& =\arg \underset{\mathbf{u}}{\min }\left\{f\left(\mathbf{u}\right)+\frac{1}{2}\Vert \mathbf{u}-\mathbf{x}{\Vert }^2\right\}\\ & =\arg \underset{\mathbf{u}}{\min }\left\{\lambda g\left(\frac{\mathbf{x}}{\lambda }\right)+\frac{1}{2}\Vert \mathbf{u}-\mathbf{x}{\Vert }^2\right\}\\ & =\lambda \arg \underset{\mathbf{z}}{\min }\left\{\lambda g\left(\mathbf{z}\right)+\frac{1}{2}\Vert \lambda \mathbf{z}-\mathbf{x}{\Vert }^2\right\}\\ & =\lambda \arg \underset{\mathbf{z}}{\min }\left\{\frac{g\left(\mathbf{z}\right)}{\lambda }+\frac{1}{2}\Vert \mathbf{z}-\frac{\mathbf{x}}{\lambda }{\Vert }^2\right\}\\ & =\lambda {\mathrm{prox}}_{\frac{g}{\lambda }}\left(\frac{\mathbf{x}}{\lambda }\right)\end{array}$$

Moreau Decomposition

设$f:\mathbb{E}\to \left(-\infty ,\infty \right]$是一个适当闭的凸函数
$$\mathbf{x}={\mathrm{Prox}}_f(\mathbf{x})+{\mathrm{Prox}}_{f^{\ast }}(\mathbf{x})$$
其中$f^{\ast }$是共轭函数
证明：
设$\mathbf{u}={\mathrm{Prox}}_f(\mathbf{x})$
$$\begin{array}{rl}& ⟺\mathbf{x}-\mathbf{u}\in \partial f(\mathbf{u})\\ & ⟺\mathbf{u}\in \partial f^{\ast }(\mathbf{x}-\mathbf{u})\\ & ⟺\mathbf{x}-(\mathbf{x}-\mathbf{u})\in \partial f^{\ast }(\mathbf{x}-\mathbf{u})\\ & ⟺\mathbf{x}-\mathbf{u}={\mathrm{Prox}}_{f^{\ast }}(\mathbf{x})\\ & ⟺\mathbf{x}=\mathbf{u}+{\mathrm{Prox}}_{f^{\ast }}(\mathbf{x})={\mathrm{Prox}}_f(\mathbf{x})+{\mathrm{Prox}}_{f^{\ast }}(\mathbf{x})\end{array}$$

扩展版本
$$\mathbf{x}={\mathrm{Prox}}_{\lambda f}(\mathbf{x})+\lambda {\mathrm{Prox}}_{\frac{f^{\ast }}{\lambda }}(\mathbf{x}/\lambda )$$

证明：
$$\begin{array}{rl}\mathbf{x}& ={\mathrm{Prox}}_{\lambda f}(\mathbf{x})+{\mathrm{Prox}}_{{\left(\lambda f\right)}^{\ast }}(\mathbf{x})\\ & ={\mathrm{Prox}}_{\lambda f}(\mathbf{x})+{\mathrm{Prox}}_{\lambda f^{\ast }\left(\frac{\cdot }{\lambda }\right)}(\mathbf{x})\\ & =={\mathrm{Prox}}_{\lambda f}(\mathbf{x})+\lambda {\mathrm{Prox}}_{\frac{f^{\ast }}{\lambda }}(\mathbf{x}/\lambda )\end{array}$$

例子

投影

考虑闭凸集$\mathbf{C}\ne \varnothing$
$l_C$是$C$的指示函数：如果$\mathbf{x}\in C$，则$l_C\left(\mathbf{x}\right)=0$,否则为$\infty$
$${\mathrm{prox}}_{l_C}\left(\mathbf{x}\right)=\arg \underset{\mathbf{y}}{\min }\left(l_C\left(\mathbf{y}\right)+\frac{1}{2}\Vert \mathbf{y}-\mathbf{x}{\Vert }^2\right)=\arg \underset{\mathbf{y}}{\min }\frac{1}{2}\Vert \mathbf{y}-\mathbf{x}{\Vert }^2=P_C\left(\mathbf{x}\right)$$
也就是投影

1范数

$$\begin{array}{rl}& \arg \underset{x\in {\mathbb{R}}^n}{\min }\left(\Vert \mathbf{x}{\Vert }_1+\frac{1}{2\lambda }\Vert \mathbf{x}-\mathbf{v}{\Vert }^2\right)\\ =& \arg \underset{x\in {\mathbb{R}}^n}{\min }\left(\lambda \Vert \mathbf{x}{\Vert }_1+\frac{1}{2}\Vert \mathbf{x}-\mathbf{v}{\Vert }^2\right)\\ =& \arg \underset{x\in {\mathbb{R}}^n}{\min }\sum _{i=1}^n\left(\lambda \left|x_i\right|+\frac{1}{2}{\left(\mathbf{x}-\mathbf{v}\right)}^2\right)\\ =& \sum _{i=1}^n\arg \underset{x\in {\mathbb{R}}^n}{\min }\left(\lambda \left|x_i\right|+\frac{1}{2}{\left(\mathbf{x}-\mathbf{v}\right)}^2\right)\end{array}$$

令$g\left(x\right)=\lambda \left|x\right|+\frac{1}{2}{\left(x-v\right)}^2\left(\lambda >0,x\in \mathbb{R}\right)$
$$g\left(x\right)=\{\begin{array}{ll}\lambda x+\frac{1}{2}{\left(x-v\right)}^2,& x>0\\ -\lambda x+\frac{1}{2}{\left(x-v\right)}^2,& x\le 0\end{array}$$
$$g^{\prime }\left(x\right)=\{\begin{array}{ll}\lambda +x-v,& x>0\\ -\lambda +x-v,& x<0\end{array}$$

$\lambda +x-v=0\Rightarrow x=v-\lambda$
当$v>\lambda$时
∀ x ∈ ( − ∞ , v − λ ) \ { 0 } , g ′ ( x ) < 0 \forall x\in \left(-\infty,v-\lambda\right)\backslash\left\{0\right\},g'\left(x\right)<0 ∀x∈(−∞,v−λ)\{0},g′(x)<0
$\forall x\in \left(v-\lambda ,+\infty \right),g^{\prime }\left(x\right)>0$
所以${\mathrm{prox}}_{\lambda g}\left(v\right)=v-\lambda$

同理，当$v<-\lambda$时
${\mathrm{prox}}_{\lambda g}\left(v\right)=v+\lambda$

当$\left|v\right|<\lambda$时
$\forall x\in \left(0,+\infty \right),g^{\prime }\left(x\right)>0$
$\forall x\in \left(-\infty ,0\right),g^{\prime }\left(x\right)<0$
所以${\mathrm{prox}}_{\lambda g}\left(v\right)=0$

$${\mathrm{prox}}_{\lambda g}\left(v\right)=\{\begin{array}{ll}v-\lambda ,& v>\lambda \\ 0,& \left|v\right|<\lambda \\ v+\lambda ,& v<-\lambda \end{array}=\mathrm{sign}\left(x\right){\left[\left|v\right|-\lambda \right]}_{+}=v-P_{\left[-\lambda ,\lambda \right]}v$$
$P_{\left[-\lambda ,\lambda \right]}$表示投影到$\left[-\lambda ,\lambda \right]$

所以
$${\mathrm{prox}}_{\lambda f}\left(\mathbf{v}\right)=\mathrm{sign}\left(\mathbf{v}\right){\left[\left|\mathbf{v}\right|-\lambda \right]}_{+}=\mathbf{v}-P_{{\left[-\lambda ,\lambda \right]}^n}\mathbf{v}$$

例3

$$f\left(x\right)=\{\begin{array}{ll}\mu x,& x\ge 0\\ \infty ,& x<0\end{array}$$
$${\mathrm{prox}}_{\lambda f}\left(v\right)={\left[v-\lambda \mu \right]}_{+}$$

p范数

设$\Vert \cdot {\Vert }_p$的对偶范数为$\Vert \cdot {\Vert }_{\ast }$
($p$范数的对偶范数为$q$范数，其中$\frac{1}{p}+\frac{1}{q}=1$,若$p=1$，则$q=\infty$)
范数的共轭函数为其单位对偶范数球的示性函数，即
$$f^{\ast }\left(\mathbf{y}\right)=\{\begin{array}{ll}0,& \Vert \mathbf{y}{\Vert }_{\ast }\le 1\\ +\infty ,& \Vert \mathbf{y}{\Vert }_{\ast }\ge 1\end{array}$$
根据Moreau Decomposition
$$\mathbf{x}={\mathrm{Prox}}_{\lambda f}(\mathbf{x})+\lambda {\mathrm{Prox}}_{\frac{f^{\ast }}{\lambda }}(\mathbf{x}/\lambda )$$
因为$\lambda >0$
所以$\frac{1}{\lambda }{f}^{\ast }\left(\mathbf{y}\right)=f^{\ast }\left(\mathbf{y}\right)$
所以${\mathrm{Prox}}_{\frac{f^{\ast }}{\lambda }}(\mathbf{x}/\lambda )$相当于投影到单位范数球里
即
$${\mathrm{Prox}}_{\frac{f^{\ast }}{\lambda }}(\mathbf{x}/\lambda )=P_{\Vert \mathbf{x}{\Vert }_{\ast }\le 1}\frac{\mathbf{x}}{\lambda }=P_{\Vert \mathbf{x}{\Vert }_{\ast }\le \lambda }\mathbf{x}$$
所以
$${\mathrm{Prox}}_{\lambda f}(\mathbf{x})=\mathbf{x}-\lambda P_{\Vert \mathbf{x}{\Vert }_{\ast }\le \lambda }\mathbf{x}$$

性质

1.最小值点=不动点
设$\lambda >0$,
${\mathbf{x}}^{\ast }$是$f$最小值点当且仅当${\mathrm{prox}}_{\lambda f}\left({\mathbf{x}}^{\ast }\right)={\mathbf{x}}^{\ast }$

PPA

Proximal-point algorithm
$${\mathbf{x}}^{k+1}={\mathrm{prox}}_{\lambda f}\left({\mathbf{x}}^k\right)$$
收敛性：
对于强凸函数，${\mathrm{prox}}_{\lambda f}$是压缩的
即
$\exists C_0<1$
$$\Vert {\mathrm{prox}}_{\lambda f}\left(\mathbf{x}\right)-{\mathrm{prox}}_{\lambda f}\left(\mathbf{y}\right)\Vert \le C_0\Vert \mathbf{x}-\mathbf{y}\Vert$$
于是
$$\Vert {\mathbf{x}}^{k+1}-{\mathbf{x}}^{\ast }\Vert =\Vert {\mathrm{prox}}_{\lambda f}\left({\mathbf{x}}^k\right)-{\mathrm{prox}}_{\lambda f}\left({\mathbf{x}}^{\ast }\right)\Vert \le C_0\Vert {\mathbf{x}}^k-{\mathbf{x}}^{\ast }\Vert \le C_0^{k+1}\Vert {\mathbf{x}}^0-{\mathbf{x}}^{\ast }\Vert$$

对于一般的凸函数，${\mathrm{prox}}_{\lambda f}$是非扩张的
$$\Vert {\mathrm{prox}}_{\lambda f}\left(\mathbf{x}\right)-{\mathrm{prox}}_{\lambda f}\left(\mathbf{y}\right){\Vert }^2\le \Vert \mathbf{x}-\mathbf{y}{\Vert }^2-\Vert \left(\mathbf{x}-{\mathrm{prox}}_{\lambda f}\left(\mathbf{x}\right)\right)-\left(\mathbf{y}-{\mathrm{prox}}_{\lambda f}\left(\mathbf{y}\right)\right)\Vert$$

近端梯度法

设
$$f\left(\mathbf{x}\right)=g\left(\mathbf{x}\right)+h\left(\mathbf{x}\right)$$
$g$是凸的，可微的，$\mathrm{dom}\left(g\right)={\mathbb{R}}^n$
$h$是凸的，但是不一定可微

如果$f$可微，可以用梯度下降法

梯度下降法是用泰勒展开到二阶，忽略高阶项，用$\frac{1}{t}\mathbf{I}$来代替海森矩阵
即
$${\mathbf{x}}^{+}=\arg \underset{\mathbf{z}}{\min }\left(f\left(\mathbf{x}\right)+\nabla f{\left(\mathbf{x}\right)}^T\left(\mathbf{z}-\mathbf{x}\right)+\frac{1}{2t}\Vert \mathbf{z}-\mathbf{x}{\Vert }^2\right)$$

对于原问题，如果我们对$g$也泰勒展开近似，$h$不变

$$\begin{array}{rl}{\mathbf{x}}^{+}& =\arg \underset{\mathbf{z}}{\min }\left(g\left(\mathbf{x}\right)+\nabla g{\left(\mathbf{x}\right)}^T\left(\mathbf{z}-\mathbf{x}\right)+\frac{1}{2t}\Vert \mathbf{z}-\mathbf{x}{\Vert }^2+h\left(\mathbf{z}\right)\right)\\ & =\arg \underset{\mathbf{z}}{\min }\left(\nabla g{\left(\mathbf{x}\right)}^T\left(\mathbf{z}-\mathbf{x}\right)+\frac{1}{2t}\Vert \mathbf{z}-\mathbf{x}{\Vert }^2+h\left(\mathbf{z}\right)\right)\\ & =\arg \underset{\mathbf{z}}{\min }\left(\frac{t}{2}\Vert \nabla g\left(\mathbf{x}\right){\Vert }^2+\nabla g{\left(\mathbf{x}\right)}^T\left(\mathbf{z}-\mathbf{x}\right)+\frac{1}{2t}\Vert \mathbf{z}-\mathbf{x}{\Vert }^2+h\left(\mathbf{z}\right)\right)\\ & =\arg \underset{\mathbf{z}}{\min }\left(\frac{1}{2t}\Vert \mathbf{z}-\left(\mathbf{x}-t\nabla g\left(\mathbf{x}\right)\right){\Vert }^2+h\left(\mathbf{z}\right)\right)\\ & ={\mathrm{prox}}_{th}\left(\mathbf{x}-t\nabla g\left(\mathbf{x}\right)\right)\end{array}$$

我们相当于对$g$梯度下降一次，对$h$做一次近端算子

步骤：
选择初始${\mathbf{x}}^{(0)}$,
重复
$${\mathbf{x}}^{(k+1)}={\mathrm{prox}}_{th}\left({\mathbf{x}}^{(k)}-t\nabla g\left({\mathbf{x}}^{(k)}\right)\right)$$

特殊情况：
$h=0$,相当于梯度下降
$h=I_C$,相当于投影
$g=0$,相当于PPA

收敛性

假设$g$是凸的，梯度Lipschitz连续($L>0$)
$h$是凸的

固定步长$t$
$$f\left({\mathbf{x}}^{(k)}\right)-f^{\ast }\le \frac{\Vert {\mathbf{x}}^{(0)}-{\mathbf{x}}^{\ast }{\Vert }^2}{2tk}$$
回溯法
$$f\left({\mathbf{x}}^{(k)}\right)-f^{\ast }\le \frac{\Vert {\mathbf{x}}^{(0)}-{\mathbf{x}}^{\ast }{\Vert }^2}{2t_{min}k}$$
$t_{min}=\min \left\{1,\frac{\beta }{L}\right\}$

有$O\left(\frac{1}{k}\right)$的收敛速度

加速

$$\mathbf{v}={\mathbf{x}}^{(k-1)}+\frac{k-2}{k+1}\left({\mathbf{x}}^{(k-1)}-{\mathbf{x}}^{(k-2)}\right)$$
$${\mathbf{x}}^{(k)}={\mathrm{prox}}_{th}\left(\mathbf{v}-t\nabla g\left(\mathbf{v}\right)\right)$$
有点像动量法

加速后有$O\left(\frac{1}{k^2}\right)$的收敛速度