Convex Optimization(2)——凸优化数学基础之线性代数

Linear Algebra

1、矩阵的值域(Range)以及零空间(nullspace)

矩阵的值域，表示成$R(A)$，是所有$R^m$空间中的可以由矩阵$A$列向量线性组合的向量组成的集合，即：
R ( A ) = { A x ∣ x ∈ R n } R(A)=\{Ax|x\in \R^{n}\} R(A)={Ax∣x∈Rn}
矩阵的值域构成了一个$R^m$的子空间。它的空间维度是矩阵$A$的秩，表示成$rankA$。
矩阵$A$的零空间(有些地方叫解空间)，表示成$N(A)$，是所有的满足$Ax=0$的$x$向量的集合，即：
N ( A ) = { x ∣ A x = 0 } N(A)=\{x|Ax=0\} N(A)={x∣Ax=0}
也因此$N(A)\in {\mathbb{R}}^n$，它的空间维度是$m-Rank(A)$。

大体我是这么尝试去理解的：

矩阵A引起的正交分解
如果$V$是$R^n$的子空间，那么它的正交补(orthogonal complement)，表示成 V ⊥ = { x ∣ z T x = 0   f o r   a l l   z ∈ V } V^{\bot}=\{x|z^{T}x=0\ for\ all\ z\in V\} V⊥={x∣zTx=0 for all z∈V}($V^{\perp \perp }=V$)
关于正交，一个基本的结论是：
$$N(A)=R(A^T{)}^{\perp }，R(A)=N(A^T{)}^{\perp }$$
这个结论也可以描述成：
$$N(A)\stackrel{\perp }{\oplus }R(A^T)=R^n$$
这里的符号$\stackrel{\perp }{\oplus }$叫做正交直和，上述式子描述的是对A进行正交分解。
直和：$若W_1\bigcap W_2=0，那么W_1+W_2就是直和，记作W_1\oplus W_2$

2、对称矩阵的特征值分解

若$A\in S^n$，即$A$是一个对称$n\times n$的方阵，则$A$可以被分解成：
$$A=Q\Lambda Q^T$$
其中$Q$是正交矩阵，即$Q{Q}^T=E$，$\Lambda$是对角矩阵，其中的每一个元素都是矩阵$A$的特征值${\lambda }_i$，而$Q$中的每一个列向量都是对应的特征值所对应的特征向量。
上述式子就是对称矩阵的特征值分解。我们一般将特征值从大到小排列在对角矩阵中，即${\lambda }_1\le {\lambda }_2\le ...\le {\lambda }_n$，所以${\lambda }_1(A)={\lambda }_{max}(A)$。
对于特征值，还有些结论：
$$det(A)=\prod _{i=1}^n{\lambda }_i，tr(A)=\sum _{i=1}^n{\lambda }_i$$

Definiteness and Matrix inequalities
（前提仍然是对称矩阵，及表示成$S^n$）
最大的特征值和最小的特征值分别满足：
${\lambda }_{max}=\underset{x̸=0}{\sup }(\frac{x^{T}Ax}{x^{T}x})，{\lambda }_{min}=\underset{x̸=0}{\inf }(\frac{x^{T}Ax}{x^{T}x})$.
如果一个矩阵$A\in S^n$并且满足$x^{T}Ax>0$，那么这个矩阵是正定的，记作$A>0$(此处应是正定比较符号，但是没敲出来，哈哈哈)，当且仅当所有特征值都大于0时成立，也即${\lambda }_{min}>0$。反之，即负定。我们用$S_{++}^n$描述在集合$S^n$中的正定矩阵集合。如果含等号，那就是半正定或半负定。

对称平方根
若矩阵$A\in S_{++}^n$，则$A=Q\Lambda Q^T$，由于是正定的，所以特征值均大于，因此$A=A^{\frac{1}{2}}{A}^{\frac{1}{2}}，A^{\frac{1}{2}}=Q{\Lambda }^{\frac{1}{2}}{Q}^T$。

3、广义特征值分解

4、奇异值分解

奇异矩阵的伪逆