最优化方法

任意矩阵$A\in C^{m\times n}$，都能被奇异值分解为：
$$A=U\left[\begin{array}{cc}{\sum }_r& 0\\ 0& 0\end{array}\right]V^T$$
其中，$U$是$m\times n$的正交矩阵，$V$是$n\times n$的正交矩阵，${\sum }_r$是由$r$个沿对角线从大到小排列的奇异值组成的方阵。$r$就是矩阵$A$的秩。
3. 线性最小二乘问题
考虑线性方程组$\mathbf{A}\mathbf{x}=\mathbf{b}$, 求其最小二乘解。
如果$\mathbf{A}$的秩是$n$, 则其唯一解是$A^{+}\mathbf{b}$;如果秩小于$n$, 则有无穷多解, 其中的最小范数解仍然是${\mathbf{A}}^{+}\mathbf{b}$;常关心的也就是这个解。

适定问题是指满足下列三个要求的问题:①解是存在的(存在性);②解是惟一的(唯一性);③解连续依赖于初始值条件(稳定性)。这三个要求中，只要有一个不满足，则称之为不适定问题。
凸优化问题是指目标函数为凸函数且由约束条件得到的定义域为凸集的优化问题。
凸函数是指一个定义在某个向量空间的凸子集$C$（区间）上的实值函数$f$，而且对于凸子集$C$中任意两个向量$x_1$和$x_1$，$f((x_1+x_2)/2)\le (f(x_1)+f(x_2))/2$。
凸集：在欧氏距离空间中，凸集是指对于所在区域中的任意两个点，连接这两个点的直线也在该区域内的区域。

谱范数（2范数）$||A|{|}_2$是$A^{H}A$ （其中 $A^H$ 共轭转置）的最大特征根的非负平方根，即$||A|{|}_2$=$(\text{maximum eigenvalue of }{A}^{H}A{)}^{1/2}$。

对于$L_1$范数函数的Proximal算子：

参考网址：The Proximal Operator of the L1 Norm Function
由Proximal算子给出的优化问题：
$${\mathrm{Prox}}_{\lambda {\Vert }_1}(x)=\arg \underset{u}{\min }\left\{\frac{1}{2}\Vert u-x{\Vert }^2+\lambda \Vert u{\Vert }_1\right\}$$
根据$u$ 和$x$，该问题可以进行分离，因此可以转换为如下问题：
$$\arg \underset{u_i}{\min }\left\{\frac{1}{2}{\left(u_i-x_i\right)}^2+\lambda \left|u_i\right|\right\}$$
Now, you can proceed using First Order Optimality Condition and the Sub Gradient of the $abs(\cdot )$ function or you can employ simple trick.
需要知道的是，$u_i$可以是负值、零和正值。定义：$F=\frac{1}{2}{\left(u_i-x_i\right)}^2+\lambda \left|u_i\right|$
（1）若$u_i>0$，则$F$对$u_i$的偏导数为$\partial F/\partial u_i=u_i-x_i+\lambda$。令$\partial F/\partial u_i-0$，则 $u_i=x_i-\lambda$.
（2）The same procedure for the case ui<0 yields $u_i=x_i+\lambda$ for $x_i<-\lambda$.
For values of xi in between, since ui=0 and hence the derivative (Sub Gradient) of ui can freely be chosen on the range [−1,1] the value of ui=0 holds.
$${\mathrm{Prox}}_{\lambda \Vert \cdot {\Vert }_1}(x{)}_i=\mathrm{sign}\left(x_i\right)\max \left(\left|x_i\right|-\lambda ,0\right)$$
该运算可以被称为软阈值（Soft Threshold）函数。

Incremental proximal方法

Incremental proximal方法是一类旨在解决问题的算法，在每次迭代中，它只使用一个成分$f_k$。当已经取得${\theta }_{k-1}$的条件下，Inpremental proximal方法通过求解如下子问题进行解决：
$${\theta }_k={\mathrm{prox}}_{\lambda ,f_k}\left({\theta }_{k-1}\right)=\underset{\theta \in {\mathbb{R}}^d}{\mathrm{argmin}}{f}_k(\theta )+\lambda {\Vert \theta -{\theta }_{k-1}\Vert }_{2,V^{-1}}^2$$

基追踪算法

基追踪（basis pursuit）算法是一种用来求解未知参量$L_1$范数最小化的等式约束问题的算法。
基追踪是通常在信号处理中使用的一种对已知系数稀疏化的手段。将优化问题中的$L_0$范数转化为$L_1$范数的求解就是基追踪的基本思想。

肓源分离

盲源分离（Blind Source Separation，BSS）又称为盲信号分离，是指在信号的理论模型和源信号无法精确获知的情况下，如何从混迭信号（观测信号）中分离出各源信号的过程。盲源分离和盲辨识是盲信号处理的两大类型。盲源分离的目的是求得源信号的最佳估计，盲辨识的目的是求得传输通道的混合矩阵。

总变分(Total Variation)最小化方法

Rudin等人(Rudin1990)观察到，受噪声污染的图像的总变分比无噪图像的总变分明显的大。总变分定义为梯度幅值的积分：
$J_{T_0}(u)={\int }_{{\Omega }_u}\left|{\nabla }_u\right|dxdy={\int }_{D_u}\sqrt{u_x^2+u_y^{2}dxdy}$
其中，$u_x=\frac{\partial u}{\partial x}$，$u_y=\frac{\partial u}{\partial y}$，$D_u$是图像的支持域。限制总变分就会限制噪声。
对于定义在区间$[a,b]\subset \mathbb{R}$的实值函数$f$，该定义区间上的总变分为用参数方程$x\mapsto f(x)forx\in [a,b]$测量曲线的一维长度。

对于2D信号$y$，比如图像，它的Rudin等人提出了全变分范数[1]：
$$V(y)=\sum _{i,j}\sqrt{{\left|y_{i+1,j}-y_{i,j}\right|}^2+{\left|y_{i,j+1}-y_{i,j}\right|}^2}$$
该全变分范数是各向同性的，但不是可微分的。它的一个变种如下所示（因为这个变种有时更易最小化）：
$$V_{\mathrm{a}\mathrm{n}\mathrm{i}\mathrm{s}\mathrm{o}}(y)=\sum _{i,j}\sqrt{{\left|y_{i+1,j}-y_{i,j}\right|}^2}+\sqrt{{\left|y_{i,j+1}-y_{i,j}\right|}^2}=\sum _{i,j}\left|y_{i+1,j}-y_{i,j}\right|+\left|y_{i,j+1}-y_{i,j}\right|$$
则标准的全变分去噪问题有如下形式：
$$\underset{y}{\min }[\mathrm{E}(x,y)+\lambda V(y)]$$
其中，$E$是2维的$L_2$范数。

Augmented Lagrange Multiplier Method

ALM method may be called as Method of Multiplier (MOM) or Primal-Dual Method. Let’s consider Lagrangian functional only for equality constraints $h(x)=0$.
$$L(x)=f(x)+{\lambda }^{T}h(x)$$
Now, for a Lagrange multiplier vector ${\lambda }^{\ast }$, suppose that there is an optimum $x^{\ast }$ for the following unconstrained optimization problem.
$$\underset{x}{\min }L(x,{\lambda }^{\ast })$$
If $x^{\ast }$ satisfy all the equality constraints $h(x^{\ast })=0$ in the original design problem, $x^{\ast }$ is an optimum for the original optimization problem and ${\lambda }^{\ast }$ is a Lagrange multiplier optimum. Consequently, the original optimization problem can be transformed into the following problem that have the same optimum $x^{\ast }$ and ${\lambda }^{\ast }$.
$$\begin{gathered} \underset{x}{\min }L(x,\lambda ) \\ \text{s.t.}{h}_i(x)=0,i=1,2,...,l \end{gathered}$$
In order to avoid the unboundness of Lagrangian, a penalty function is introduced. We call it as augmented Lagrangian.
$$A(x,\lambda ,r)=L(x,\lambda )+\frac{1}{2}\sum _{i=1}^l{r}_i{h}_i(x){)}^2$$
where, $r_i$ is the penalty parameter for the ith equality constraint. In the ALM method, the unconstrained optimization tool sequentially minimize the augmented Lagrangian for the given value of $r_i$ and ${\lambda }_i$. Then, these two parameters are modified to satisfy the optimality condition.

The update rule for Lagrange multipliers can be determined from the following relation.
$$\underset{x\to x^{\ast }}{\lim }\nabla A(x,\lambda ,r)=\nabla L(x^{\ast },{\lambda }^{\ast })$$
This implies
$$\underset{x\to x^{\ast }}{\lim }\left({\lambda }_i+r_i{h}_i(x)\right)={\lambda }_i^{\ast },i=1,2,...,l$$
Hence, the update rule for Lagrange multipliers is
$${\lambda }_i^{k+1}={\lambda }_i^k+r_i^k{h}_i(x^k)$$
where, the superscript $k$ is the iteration of ALM algorithm.

Inequality constraints are transformed into equality constraints by adding slack variables (${\theta }_j>0$). Thus, the augmented Lagrangian becomes
$$A(x,\theta ,\mu ,r)=f(x)+\sum _{j=1}^m\left[{\mu }_j(g_j(x)+\theta )+\frac{1}{2}(g_j(x)+{\theta }_j{)}^2\right]$$
Then, a new primal variables are x ˉ = { x , θ } \bar{x}=\{x,\theta\} xˉ={x,θ}. The augmented Lagrangian should satisfy the optimality condition for slack variable ${\theta }_j$.
$${\nabla }_{thet{a}_j}A(x,\theta ,\mu ,r)=\sum _{j=1}^m({\mu }_j+r_j(g_j(x)+{\theta }_j))=0$$
Hence, an optimum of slack variable ${\theta }_j$ is
$${\theta }_j^{\ast }=\max \left\{0,-\frac{{\mu }_j}{r_j}-g_j(x)\right\}$$
Now, these optimum values are substituted into the originally transformed form.
$$\begin{gathered} g_j(x)+{\theta }_j^{\ast }=g_j(x)+\max \left\{0,-\frac{{\mu }_j}{r_j}-g_j(x)\right\} \\ =\max \left\{g_j(x),-\frac{{\mu }_j}{r_j}\right\} \end{gathered}$$
Hence, the augmented Lagrangian for inequality constraints are transformed into the following simple functional.
$$A(x,\mu ,r)=f(x)+\sum _{j=1}^m\left[{\mu }_j{\Psi }_j,r_j)+\frac{1}{2}{r}_j{\Psi }_j(x,{\mu }_j,r_j{)}^2\right]$$
where, Ψ j ( x , μ j , r j ) = max ⁡ { g j ( x ) , − μ j r j } \Psi_j(x,\mu_j,r_j)=\max\{g_j(x),-\frac{\mu_j}{r_j}\} Ψj​(x,μj​,rj​)=max{gj​(x),−rj​μj​​}. Also, the Lagrange multiplier update rule is defined as
$${\mu }_j^{k+1}={\mu }_j^k+r_j{\Psi }_j(x^k,{\mu }_j^k,r_j^k),j=1,2,...,l$$

相关函数基础

考虑到Hilbert空间中的线性映射$A:H_1\to H_2$。若不关注细节，adjoint operator是如下一种线性算子（大部分情况下这是唯一定义）$A^{\ast }:H_2\to H_1$
$${⟨A{h}_1,h_2⟩}_{H_2}={⟨h_1,A^{\ast }{h}_2⟩}_{H_1}$$
其中， $⟨\cdot ,\cdot {⟩}_{H_i}$是Hilbert空间$H_i$中的内积算子.

参考文献：
[1] Rudin, Leonid I., Stanley Osher, and Emad Fatemi. “Nonlinear total variation based noise removal algorithms.” Physica D: nonlinear phenomena 60.1-4 (1992): 259-268.