3.矩阵分析与应用

注：以下内容整理于七月算法2016年4月班培训讲义，详见： http://www.julyedu.com/

内容简介：

线性代数基础知识

特征分解（凸优化中的重要知识）

SVD分解与应用

1.数学符号

2.重新认识Ax=b

a)Ax=b的行视图
2x-y=1
x+y=5

b)Ax=b的列视图

3.线性相关和线性无关
a)线性相关：Ax=0有非0解

b)线性无关：Ax=0没有非0解，或者说只有0解

c)定义矩阵A=[a1,a2,...,an]，如果Ax=0没有非0解，即A线性无关，则矩阵A可逆。

4.Span、基和子空间（Subspace）
a)Span：列的所有线性组合

* 基：如果A=[a1,...,an]是线性无关的，则A是S的一组基

* S可以有不同的基，但是基里向量的个数是相同的，称为S的维数，等于rank(A)。
  一个子空间用一个基就可以完全表示

b)四个基本的子空间
* 列空间（Column Space）（值域、Span）

* 零空间（Null space）：零解的集合

定义：N(A)包含Ax=0的所有的解得集合
注意：Ax=b的解并不形成一个子空间

* 行空间（Row space）：所有行的线性组合

* 左零空间（left null space）： 

5.子空间的关系
a)行空间垂直于零空间(Ax=0)

b)列空间垂直于左零空间

6.利用子空间重新看待线性方程组的解

如果有解，解的形式为x=p+v (p是特解，v是零解)

7.方阵的特征值与特征向量
如果Ax=λx，则称λ是A的特征值，x是A的特征向量

8.特征分解

问题：如何计算A^1000

n*n矩阵A可对角化的充分必要条件：A有n个线性无关的特征向量

9.对称矩阵的特征分解
a)

b)对称矩阵的特征值是实数

c)

10.二次型 

11.特征分解的应用--PCA本质

12.SVD分解：特征分解的广义化

13.SVD和子空间的关系

14.低秩矩阵近似：图像压缩