压缩感知与临近点算子

简介

首先说一下两者的关系，压缩感知是一种解决欠采样问题的采样理论，在2010年提出，是奈奎斯特采样定理的升级版。临近点算子是解决压缩感知问题的核心引擎，另外需要引出临近梯度下降法，是梯度下降法的一种次梯度版本。本文主题将包括：

• 临近点算子的定义与性质
• 常见函数的临近点算子
• 临近点梯度下降法
• 临近点梯度下降法在求解压缩感知问题中的应用
• 拓展与创新

临近点算子的定义与性质

• 定义
  函数 f : R n → R ∪ { + ∞ } f:R^n\rightarrow R \cup \{+\infty\} f:Rn→R∪{+∞}的临近点算子的定义为：
  $$pro{x}_{\lambda f}(v)=\arg \underset{x}{\min }\left(f(x)+(1/2\lambda )\Vert x-v{\Vert }_2^2\right)$$
  其中$\lambda >0$，$f$可以是非光滑的，但必须是凸函数。
• 性质：可加性
  若$f(x)={\sum }_i^N{f}_i(x_i)$，则：
  $$(pro{x}_f(v){)}_i=pro{x}_{f_i}(v_i)$$
• 性质：固定点
  $x^{\ast }$为$f$的极小值点，当且仅当$x^{\ast }$为一个固定点，即：
  $$x^{\ast }=pro{x}_f(x^{\ast })$$
  固定点将临近算子和固定点理论联系起来了，优化问题等价于求固定点。

常见函数的临近点算子

• 示性函数
  $f=I_C$为凸集$C$上的示性函数，则：
  $$pro{x}_{\lambda I_C}(v)={\Pi }_C(v)=\arg \underset{x\in C}{\min }\Vert x-v{\Vert }_2$$
  即解为凸集$C$上与点$v$距离最小的点（投影点）。
• 二次函数
  $$f(x)=(1/2)x^{T}Px+q^{T}x+r$$
  $$pro{x}_{\lambda f}(v)=(I+\lambda P{)}^{-1}(v-\lambda q)$$
• 一范数
  $$f=\Vert \cdot {\Vert }_1$$
  $$pro{x}_{\lambda f}(v)=(v-\lambda {)}_{+}-(-v-\lambda {)}_{+}=\begin{array}{c}{v}_i-\lambda \\ 0\\ v_i+\lambda \end{array}\begin{array}{c}{v}_i\ge \lambda \\ |v_i|\le \lambda \\ v_i\le -\lambda \end{array}$$

临近点梯度下降法

临近点梯度下降法（PGD）可以用于求解如下问题：
$$\min f(x)+g(x)$$
其中$f$是光滑的，$g$是凸函数。PGD的迭代形式为：
$$x^{k+1}=pro{x}_{{\lambda }^{k}g}(x^k-{\lambda }^k\nabla f(x^k))$$
PGD的收敛速度为$O(1/k)$，当$\nabla f$ 以常数$L$ Lipschitz连续。

临近点梯度下降法在求解压缩感知问题中的应用

在压缩感知问题中，$f(x)=Ax-b$，$g(x)=\gamma \Vert x{\Vert }_1$，其中$A\in R^{m\times n}$，$\gamma >0$于是PGD为：
$$x^{k+1}=pro{x}_{{\lambda }^k\gamma \Vert \cdot {\Vert }_1}(x^k-{\lambda }^k{A}^T(A{x}^k-b))$$

拓展与创新

• 用不同的$f$做约束
• 将梯度下降法中的技巧引入到PGD中
• ADMM求解多约束问题
• 根据问题设计约束项

待续

• 常见临近点算子的求解
• 梯度下降的收敛性证明
• PGD的收敛性证明