[数学]线性方程组的解、SVD

本系列文章由 youngpan1101 出品，转载请注明出处。
文章链接： http://blog.csdn.net/youngpan1101/article/details/54574130
作者：宋洋鹏（youngpan1101）
邮箱： yangpeng_song@163.com

---

齐次线性方程组

ref_1

1. 设有齐次线性方程组：
   

   $$\left\{ \begin{aligned} a_{11}x_{1}+a_{12}x_{2}+...+a_{1n}x_{n} &= 0 \\ a_{21}x_{1}+a_{22}x_{2}+...+a_{2n}x_{n} &= 0 \\ ......................... & ... . \\ a_{m1}x_{1}+a_{m2}x_{2}+...+a_{mn}x_{n} &= 0 \\ \end{aligned} \tag{1} \right.$$
   令
   $$A= \left[ \begin{matrix} a_{11} & a_{12} & ... & a_{1n} \\ a_{21} & a_{22} & ... & a_{2n} \\ ... & ... & ... & ... \\ a_{m1} & a_{m2} & ... & a_{mn} \\ \end{matrix} \right]_{m \times n} , x= \left[ \begin{matrix} x_{1} \\ x_{2} \\ ... \\ x_{n} \\ \end{matrix} \right]_{n \times 1}$$
   则方程组 (1) 可以写成向量方程 $Ax=0$ 。

2. 解的性质
   (1) 若 $x=\xi _{1}，x=\xi _{2}$ 为 $Ax=0$ 的解，则 $x=\xi _{1}+\xi _{2}$ 也是 $Ax=0$ 的解。
   (2) 若 $x=\xi _{1}$ 为 $Ax=0$ 的解，$k$ 为是实数，则 $x=k\xi _{1}$ 也是 $Ax=0$ 的解。

   可知，方程组的全体解向量所组成的集合，对于加法和数乘运算时封闭的，因此构成一个向量空间，称此向量空间为齐次线性方程组 $Ax=0$ 的 解空间。

3. 基础解系的定义
   $\eta _{1}, \eta _{2}, ..., \eta _{t}$ 称为齐次线性方程组 $Ax=0$ 的基础解系，则有
   (1) $\eta _{1}, \eta _{2}, ..., \eta _{t}$ 是 $Ax=0$ 的一组线性无关的解；
   (2) $Ax=0$ 的任一解都可由 $\eta _{1}, \eta _{2}, ..., \eta _{t}$ 线性表示。
   如果 $\eta _{1}, \eta _{2}, ..., \eta _{t}$ 为齐次线性方程组 $Ax=0$ 的一组基础解系，那么，$Ax=0$ 的通解可以表示为 $x=k_{1}\eta _{1}+k_{2}\eta _{2}+...+k_{t}\eta _{t}$，其中 $k_{1}, k_{2}, ... , k_{t}$ 是任意常数。

4. 定理
   $n$ 元齐次线性方程组 $A_{m \times n}x=0$ 的全体解所构成的集合 $S$ 是一个向量空间，当系数矩阵 $A$ 的秩 $rank(A_{m \times n})=r$ 时，解空间 $S$ 的维数为 $n-r$ 。

   • $r=rank(A)=n$，该解空间维数为 0，也就是说该解空间只含有零向量。
   • $r=rank(A)<n$，齐次线性方程组解空间维数 $= n - rank(A) >0$，该方程组有非零解，而且不唯一。此时，方程组的解可以表示为 $x = k_{1}\eta _{1}+k_{2}\eta _{2}+...+k_{n-r}\eta _{n-r}$ 。

非齐次线性方程组

ref_1

1. 设有非齐次线性方程组：
   

   $$\left\{ \begin{aligned} a_{11}x_{1}+a_{12}x_{2}+\cdots+a_{1n}x_{n} &= b_{1} \\ a_{21}x_{1}+a_{22}x_{2}+\cdots+a_{2n}x_{n} &= b_{2} \\ ......................... & ... . \\ a_{m1}x_{1}+a_{m2}x_{2}+...+a_{mn}x_{n} &= b_{m} \\ \end{aligned} \tag{2} \right.$$
   令
   $$A= \left[ \begin{matrix} a_{11} & a_{12} & ... & a_{1n} \\ a_{21} & a_{22} & ... & a_{2n} \\ ... & ... & ... & ... \\ a_{m1} & a_{m2} & ... & a_{mn} \\ \end{matrix} \right]_{m \times n} , x= \left[ \begin{matrix} x_{1} \\ x_{2} \\ ... \\ x_{n} \\ \end{matrix} \right]_{n \times 1} , b= \left[ \begin{matrix} b_{1} \\ b_{2} \\ ... \\ b_{m} \\ \end{matrix} \right]_{m \times 1}$$
   则方程组 (2) 可以写成向量方程 $Ax=b$ ， 向量 $b$ 中元素不全为 0 。

2. 方程组的解
   令矩阵 $A$ 的增广矩阵为
   

   $$\widetilde{A}= \left[ \begin{array}{cccc:c} a_{11} & a_{12} & \cdots & a_{1n} & b_{1} \\ a_{21} & a_{22} & \cdots & a_{2n} & b_{2} \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} & b_{m} \\ \end{array} \right]_{m \times (n+1)}$$
   • $rank(A) < rank(\widetilde{A})$ ， 方程组 (2) 无解
   • $rank(A) = rank(\widetilde{A}) = n$ ， 方程组 (2) 有唯一解
   • $rank(A) = rank(\widetilde{A}) < n$ ， 方程组 (2) 有无穷解
   • $rank(A) > rank(\widetilde{A})$ 不可能出现， 因为增广矩阵的秩大于等于系数矩阵的秩（矩阵加入一列，其秩只能增大，不可能变小）

奇异值分解：SVD

reference:
- 矩阵奇异值分解
- 矩阵分解——SVD分解
- [数学]齐次线性方程组的解、SVD、最小二乘法
- SVD解线性方程组——秘密大起底
- 机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用
- SVD分解的并行实现
- 并行计算奇异值分解–Jacobi旋转

• 奇异值分解（SVD）是计算机视觉领域中一种使用最为广泛的矩阵分解技术
• 奇异值和特征值的重要意义相似，都是为了提取出矩阵的主要特征

1. 奇异值的定义
   设$A \in C^{m \times n}_{r}$，且 $A^{H}A$ 的特征值为 （$A^{H}$为 $A$ 的复共轭转置矩阵）
   

   $$\lambda _{1} \geq \lambda _{2} \geq ... \geq \lambda _{r} > \lambda _{r+1} = \cdots = \lambda_{m} = 0$$
   称 $\sigma _{i}=\sqrt {\lambda _{i}} \quad (i=1, 2, ..., r)$ 为矩阵 $A$ 的正奇异值，简称 奇异值 。
   注：$A$ 的正奇异值个数 $r = rank(A)$，并且 $A$ 与 $A^{H}$ 有相同的奇异值。
   存在 $m$ 阶酉矩阵 $U$ 和 $n$ 阶酉矩阵 $V$，使得
   
   $$A=UDV^{H}=U \left[ \begin{matrix} \Sigma & 0_{r \times (n-r)} \\ 0_{(m-r) \times r} & 0_{(m-r) \times (n-r)} \\ \end{matrix} \right] V^{H}， 其中 \quad \Sigma = \left[ \begin{matrix} \sigma_{1} & & & \\ & \sigma_{2} & & \\ & & \ddots & \\ & & & \sigma_{r} \\ \end{matrix} \right]$$
   上式中 $D$ 的对角元叫做 $A$ 的奇异值，$U$ 中的列向量称为 $A$ 的左奇异向量，$V$ 中的列向量称为 $A$ 的右奇异向量。

2. SVD 解线性方程组
   (1) 解非齐次线性方程组 ($Ax=b$)
   当 $A$ 的行数大于列数时，需要求解最小二乘解，即使得 $||Ax-b||_{2}$ 最小的 $x$，由2-范数具有酉不变性，有：
   

   $$||Ax-b||_{2} = \left| \left| U \left[ \begin{matrix} \Sigma & 0_{r \times (n-r)} \\ 0_{(m-r) \times r} & 0_{(m-r) \times (n-r)} \\ \end{matrix} \right] V^{H} x-b \right| \right| = \left| \left| \left[ \begin{matrix} \Sigma & 0_{r \times (n-r)} \\ 0_{(m-r) \times r} & 0_{(m-r) \times (n-r)} \\ \end{matrix} \right] V^{H} x-U^{H}b \right| \right|$$
   所以 $Ax=b$ 的最小二乘解即是 $\left[ \begin{matrix} \Sigma & 0_{r \times (n-r)} \\ 0_{(m-r) \times r} & 0_{(m-r) \times (n-r)} \\ \end{matrix} \right] V^{H}x = U^{H}b$ 的最小二乘解。
   令 $y=V^{H}x$， $c=U^{H}b$，$\left[ \begin{matrix} \Sigma & 0_{r \times (n-r)} \\ 0_{(m-r) \times r} & 0_{(m-r) \times (n-r)} \\ \end{matrix} \right] y = c$ 表达成矩阵的形式如下：
   
   $$\left[ \begin{array}{cccc:c} \sigma_{1} & & & & \\ & \sigma_{2} & & & \\ & & \ddots & & 0_{r \times (n-r)} \\ & & & \sigma_{r} & \\ \hdashline & & 0_{(m-r) \times r} & & 0_{(m-r) \times (n-r)} \end{array} \right]_{m \times n} \cdot \left[ \begin{matrix} y_{1} \\ y_{2} \\ \vdots \\ y_{r} \\ \hdashline \mathcal{Y_{(n-r) \times 1}} \\ \end{matrix} \right]_{n \times 1} = \left[ \begin{matrix} c_{1} \\ c_{2} \\ \vdots \\ c_{r} \\ \hdashline \mathcal{C_{(m-r) \times 1}} \\ \end{matrix} \right]_{m \times 1}$$
   故 $Dy=c$ 的最小二乘解为 $y=[\frac{c_{1}}{\sigma _{1}}, \frac{c_{2}}{\sigma _{2}}, \cdots, \frac{c_{r}}{\sigma _{r}}, \underbrace{0, \cdots, 0}_{n-r} ]^{T}$，原方程组的最小二乘解为 $x=V^{H}y$ 。
   (2) 解齐次线性方程组 ($Ax=0$)
   相似的情况，把问题转化为 $min(||Ax||_{2})$ 的非线性优化问题，$x=0$ 是该方程的一个特解，为了避免这种情况（实际应用中 $x=0$ 往往不是我们想要的），这里增加一个约束，比如 $||x||_{2}=1$，这样，问题就变为：
   $$min(||Ax||_{2})，||x||_{2}=1$$
   又
   $$||Ax||=||UDV^{H}x||=||DV^{H}x|| \quad （2-范数的酉不变性）$$
   令 $y=V^{H}x$，问题变为
   $$min(||Dy||), ||y||=1$$
   因为对角阵 $D$ 的对角元素按递减的顺序排列，所以最优解在 $y=[0, 0, \cdots, 1]^{T}$ 处取得，又因为 $x=Vy$，所以最优解是 V <script type="math/tex" id="MathJax-Element-95">V</script> 的最小奇异值对应的列向量。