稀疏编码的经典解法——ISTA算法的推导

\qquad 现有一个求稀疏编码的问题：
$$\min \parallel z{\parallel }_{0}s.t.x=Dz$$
\qquad 其中$D\in {\mathbb{R}}^{n\times m}$, $z\in {\mathbb{R}}^m$ 是 $x\in {\mathbb{R}}^n$ 的 sparse code.
\qquad 解决上式是一个复杂度随 m 以指数级增长的组合问题，最常见的解决方法是将 $l_0$ 范数替换为 $l_1$范数.即目标函数变为：
$$arg\underset{D,z}{\min }\frac{1}{2}\parallel x-Dz{\parallel }_2^2+\lambda \parallel z{\parallel }_1$$
\qquad 假设 D 已给定，即：
$$arg\underset{z}{\min }\frac{1}{2}\parallel x-Dz{\parallel }_2^2+\lambda \parallel z{\parallel }_1$$

\qquad 对于凸二范数 $f_1=\frac{1}{2}\parallel x-Dz{\parallel }_2^2$，叫做reconstruction 项，它的函数是这样的

\qquad 对于凸一范数 $f_2=\lambda \parallel z{\parallel }_1$，叫做sparsity penalty 项，它的函数是这样的,故其导数为符号函数。

\qquad 现在我们来求解这个目标函数，即得到使 $f$ 值最小时的$z$.将函数变形为：
$$\begin{array}{rl}f& =f_1+f_2\\ & =\frac{1}{2}\parallel x-Dz{\parallel }_2^2+\lambda \parallel z{\parallel }_1\\ & =\frac{1}{2}(x-Dz{)}^T(x-Dz)+\lambda \parallel z{\parallel }_1\end{array}$$
\qquad 故可以梯度下降法来求 z. 对$f$ 求 $z$ 的偏导：
$$\begin{array}{rl}\frac{\partial f}{\partial z}& =\frac{\partial f_1}{\partial z}+\frac{\partial f_2}{\partial z}\\ & =D^T(Dz-x)+\lambda sign(z)\end{array}$$
\qquad 对于reconstruction 项
$$z^{k+1}=z^k-\alpha D^T(Dz-x)$$
\qquad 对于penalty 项$$z^{k+1}=z^k-\alpha \lambda sign(z)$$
\qquad 问题来了,符号函数 $sign(z)$ 在 0 处是不可微的
\qquad 解决办法：如果 $l_{1}norm$ 的梯度因为 $z$ 而改变符号，则将其设为 0 ，即
$$\begin{gathered} if:sign(z)\ne sign(z-\alpha \lambda sign(z))thenz=0 \\ else:z=z-\alpha \lambda sign(z) \end{gathered}$$

\qquad 上面的两项的处理过程概括起来就是 ISTA算法

1.初始化 $z^{(0)}=0$
2.当 $z^{(k)}$ 未收敛

$z^k=z^k-\alpha D^T(Dz-x)$
$z^{k+1}=shrink(z^k,\alpha \lambda )$

$shrink:$用来查看函数值是否：不变 / 变0
\qquad 总结上述步骤：
$$\begin{array}{rl}{z}^{k+1}& =S_{\alpha \lambda }(z^k+\alpha D^T(x-Dz))\\ z^{k+1}& =S_{\frac{\lambda }{L}}(z^k+\frac{1}{L}{D}^T(x-Dz))(\alpha =\frac{1}{L})\end{array}$$
\qquad 只有当 $L\ge {\sigma }_{max}(D^{T}D)$ 时，才能保证收敛性，${\sigma }_{max}(A)$ 表示 $A$ 的最大特征值，soft thresholding function $S_{\theta }(x)$ 定义为：
$$S_{\theta }(x)=sign(x)\cdot max(|x|-\theta ,0)$$