关于ADMM算法中迭代优化的一种简化形式

关于ADMM算法中迭代优化的一种简化形式

一. 优化问题描述

求解这样一个具有等式约束的稀疏优化问题，其中矩阵 $A\in {\mathcal{R}}^{m\times n}$ 和 $B\in {\mathcal{R}}^{m\times r}$ 是已知的，矩阵 $X\in {\mathcal{R}}^{n\times r}$ 和 $Y\in {\mathcal{R}}^{m\times r}$ 是需要优化的：
$$\begin{array}{rl}\underset{X,Y}{\min }& \Vert Y{\Vert }_1\\ s.t.& AX-Y=B\end{array}$$

二. 常用的迭代步骤

优化问题 (1) 的拉格朗日函数可以写为
$$\begin{array}{r}L(X,Y)=\Vert Y{\Vert }_1+<\Gamma ,AX-Y-B>+\frac{\mu }{2}\Vert AX-Y-B{\Vert }_F\end{array}$$
其中，$\Gamma \in {\mathcal{R}}^{m\times r}$ 是拉格朗日乘子.

迭代步骤
更新 $X$:
$$\begin{array}{rl}{X}^{k+1}& =\underset{X}{\mathrm{argmin}}<\Gamma ,AX-Y-B>+\frac{\mu }{2}\Vert AX-Y-B{\Vert }_F\\ & =\underset{X}{\mathrm{argmin}}\frac{\mu }{2}\Vert AX-Y-B+\Gamma /\mu {\Vert }_F\end{array}$$
则 $X$ 的更新规则为：
$$\begin{array}{r}{X}^{k+1}=(A^{T}A{)}^{-1}{A}^T(Y^k+B-{\Gamma }^k/\mu ).\end{array}$$

更新 $Y$:
$$\begin{array}{rl}{Y}^{k+1}& =\underset{Y}{\mathrm{argmin}}\Vert Y{\Vert }_1+<\Gamma ,AX-Y-B>+\frac{\mu }{2}\Vert AX-Y-B{\Vert }_F\\ & =\underset{Y}{\mathrm{argmin}}\Vert Y{\Vert }_1+\frac{\mu }{2}\Vert AX-Y-B+\Gamma /\mu {\Vert }_F\end{array}$$
则 $Y$ 的更新规则为：
$$\begin{array}{r}{Y}^{k+1}=\mathrm{soft}\left(A{X}^{k+1}-B+{\Gamma }^k/\mu ,\frac{1}{\mu }\right).\end{array}$$
其中，$\mathrm{soft}(\cdot )$ 为软阈值函数.

更新 $\Gamma$:
$$\begin{array}{r}{\Gamma }^{k+1}={\Gamma }^k+\mu (A{X}^{k+1}-Y^{k+1}-B).\end{array}$$

三. 简化的迭代步骤

优化问题 (1) 的拉格朗日函数直接简化写为
$$\begin{array}{r}L(X,Y)=\Vert Y{\Vert }_1+\frac{\mu }{2}\Vert AX-Y-B+\Lambda {\Vert }_F\end{array}$$
其中，$\Lambda \in {\mathcal{R}}^{m\times r}$ 是拉格朗日乘子. 事实上，这两种写法是等价的，并且这里有 $\Lambda =\Gamma /\mu$. 下面将给出分析过程。

迭代步骤
更新 $X$:
$$\begin{array}{rl}{X}^{k+1}& =\underset{X}{\mathrm{argmin}}\frac{\mu }{2}\Vert AX-Y-B+\Lambda {\Vert }_F\\ & =\underset{X}{\mathrm{argmin}}\frac{\mu }{2}\Vert AX-Y-B{\Vert }_F+<\Gamma ,AX-Y-B>\end{array}$$
其中，$\Lambda =\Gamma /\mu$.
这里为了更清晰，简单推导了一下：
$$\begin{array}{rl}& \frac{\mu }{2}\Vert AX-Y-B+\Gamma /\mu {\Vert }_F\\ & =\frac{\mu }{2}\mathrm{trace}[(AX-Y-B+\Gamma /\mu {)}^T(AX-Y-B+\Gamma /\mu )]\\ & =\frac{\mu }{2}\mathrm{trace}[(AX-Y-B{)}^T(AX-Y-B+\Gamma /\mu )]+\frac{\mu }{2}\mathrm{trace}[({\Gamma }^T/\mu )(AX-Y-B+\Gamma /\mu )]\\ & =\frac{\mu }{2}\mathrm{trace}[(AX-Y-B{)}^T(AX-Y-B)]+\mu \mathrm{trace}[({\Gamma }^T/\mu )(AX-Y-B+\Gamma /\mu )]\\ & =\frac{\mu }{2}\Vert AX-Y-B{\Vert }_F+\mathrm{trace}[({\Gamma }^T)(AX-Y-B+\Gamma /\mu )]\\ & =\frac{\mu }{2}\Vert AX-Y-B{\Vert }_F+<\Gamma ,AX-Y-B>+\mathrm{trace}[({\Gamma }^T)\Gamma /\mu ]\end{array}$$
由于是关于 $X$ 的优化，忽略上式与 $X$ 无关的一项即可.
则 $X$ 的更新规则为：
$$\begin{array}{r}{X}^{k+1}=(A^{T}A{)}^{-1}{A}^T(Y^k+B-{\Lambda }^k).\end{array}$$

更新 $Y$:

$Y$ 的更新规则为：
$$\begin{array}{r}{Y}^{k+1}=\mathrm{soft}\left(A{X}^{k+1}-B+{\Lambda }^k,\frac{1}{\mu }\right).\end{array}$$

更新 $\Lambda$:
$$\begin{array}{r}{\Lambda }^{k+1}={\Lambda }^k+A{X}^{k+1}-Y^{k+1}-B.\end{array}$$

四. 总结

至此我们发现，这两种迭代优化的步骤都是等价的，并且相比之下第二种迭代形式更简洁一些。