ill-posed problem，regularized method，正则化参数的选取

本文整理总结自文献:
Rank-Deficient and Discrete ill-Posed Problems

矩阵的奇异值分解（SVD）

令 $A\in {\mathbb{R}}^{m\times n}$是一个长方形或者是正方形的矩阵，简单起见假设$m\ge n$. 则$A$的SVD分解具有以下形式：
$$A=U\Sigma V^T=\sum _{i=1}^n{u}_i{\sigma }_i{v}_i^T\text{\hspace{1em}(1)}$$
其中 $U=(u_1,\cdots ,u_n)\in {\mathbb{R}}^{m\times n}$, $V=(v_1,\cdots ,v_n)\in {\mathbb{R}}^{n\times n}$都是具有正交列向量的矩阵，即满足：$U^{T}U=V^{T}V=I_n$.
对角矩阵$\Sigma =diad({\sigma }_1,\cdots ,{\sigma }_n)$ 拥有非负的对角元按照非增的顺序排列： ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_n\ge 0.$
数${\sigma }_i$称为$A$的奇异值，而向量 $u_i$ 和 $v_i$ 是 $A$ 的左右奇异向量。

离散不适定问题（Discrete ill-posed problems）

产生于不适定问题（例如第一类Fredholm积分方程）的离散：
$$Ax=b\text{\hspace{1em}(2)}$$或者
$$\underset{x\in {\mathbb{R}}^n}{\min }\Vert Ax-b\Vert \text{\hspace{1em}(3)}$$

利用矩阵$A$的SVD分解，对于任意向量$x$, 我们有：
$$x=\sum _{i=1}^n(v_i^{T}x)v_{i}andAx=\sum _{i=1}^n{\sigma }_i(v_i^{T}x)u_i$$

现在考虑最小二乘问题$(3)$，
如果$A$是可逆的，则它的逆可以表示为$A^{-1}={\sum }_{i=1}^n{v}_i{\sigma }_1^{-1}{u}_i^T$ , 因此问题$(2)$和问题$(3)$的解可以表示为$x={\sum }_{i=1}^n{\sigma }_i^{-1}(u_i^{T}b)v_i$,
如果$A$是秩亏的，则问题