常见临近点算子的求解

本文将利用线性代数的知识推导出常见临近点算子的解，具体包括：

• 投影算子
• 一范数
• 二次多项式
• 核范数

临近点算子的标准形式

$$pro{x}_{\lambda f}(v)=\arg \underset{x}{\min }\left(f(x)+(1/2\lambda )\Vert x-v{\Vert }_2^2\right)=\arg \underset{x}{\min }J(x)$$

投影算子

$f=I_C$为凸集$C$上的示性函数，则：
$$pro{x}_{\lambda I_C}(v)={\Pi }_C(v)=\arg \underset{x\in C}{\min }\Vert x-v{\Vert }_2$$
即解为凸集$C$上与点$v$距离最小的点（投影点）。
示性函数的定义为
$$I_C(x)=\{\begin{array}{rl}0& ,x\in C\\ +\infty & ,x\notin C\end{array}$$
由示性函数的定义可知，$x$必然在$C$的内部，示性函数的临近点算子是显然的。

二次函数

$$f(x)=(1/2)x^{T}Px+q^{T}x+r$$
$$pro{x}_{\lambda f}(v)=(I+\lambda P{)}^{-1}(v-\lambda q)$$
二次函数是可微的，因此可以先求偏导数，然后利用最优化条件将偏导数置零。
$${\nabla }_{x}J(x)=Px+q+1/\lambda (x-v)=0$$
整理后得到：
$$(I+\lambda P)x=v-\lambda q$$
两边求逆即可。

一范数

$$f=\Vert \cdot {\Vert }_1$$
$$pro{x}_{\lambda f}(v)=(v-\lambda {)}_{+}-(-v-\lambda {)}_{+}=\{\begin{array}{rl}{v}_i-\lambda & ,v_i\ge \lambda \\ 0& ,|v_i|\le \lambda \\ v_i+\lambda & ,v_i\le -\lambda \end{array}$$
由于一范数具有可分性，因此可以将原始的向量优化问题转换为标量优化问题，直接将$x$表示标量$x_i$，$v$表示$v_i$，得到：
$$J(x)=|x|+(1/2\lambda )(x-v{)}^2$$
此时可以通过讨论$x\ge 0,x<0$来化为简单的二次函数优化问题。

核范数

核范数在矩阵$X$上定义，为所有奇异值绝对值的和，即奇异值组成的向量的一范数。
$$\Vert X{\Vert }_{\ast }=\sum _i|{\lambda }_i|$$
关于核范数的临近点算子的优化目标为：
$$J(X)=\Vert X{\Vert }_{\ast }+(1/2\lambda )\Vert X-V{\Vert }_F^2$$
解为：
$$pro{x}_{\lambda \Vert \cdot {\Vert }_{\ast }}=Vdiag(pro{x}_{\lambda f}({\sigma }_s(A)))U$$
其中$U{\sigma }_{s}V$为$A$的SVD分解。