矩阵基本概念

矩阵基本概念

向量范数

对于一个向量 $x(x_1, x_2,...,x_n)$, 其范数有$L_1$, $L_2$, $L_\infty$, $L_p$
- $L_1$范数

$$L_1:||x_1||_1=\sum_{j=0}^n |x_j|$$
- $L_2$范数
$$L_2:||x_1||_2=(\sum_{j=0}^n x_j^2)^\frac{1}{2}$$
- $L_\infty$范数
$$L_\infty:||x_1||_\infty=\max_{j}|x_j|$$
- $L_p$范数
$$L_p:||x_1||_p=(\sum_{j=0}^n |x_j|^p)^\frac{1}{p}$$

矩阵范数

对于一个矩阵$A=(a_{ij})_{m\times n}$, 有$||A||_1$, $||A||_2$, $||A||_\infty$, $||A||_F$

• $||A||_1$
  

  $$||A||_1= \max_{j}\sum_{i}^{m} |a_{ij}|$$

• $||A||_2$
  

  $$||A||_2 = \sqrt {\lambda_{A^TA}}$$
  其中${\lambda_{A^TA}}$是$A^TA$ 的最大特征值

• $||A||_\infty$
  

  $$||A||_\infty = \max_i\sum_j^n|a_{ij}|$$

• $||A||_F$
  

  $$||A||_F=\sqrt{tr(A^TA)}$$

酉矩阵

• 对于一个矩阵$A=(a_{ij})_{n\times n}$, 如果满足：
  

  $$A^HA=I_n$$
  那么矩阵$A$是一个酉矩阵，其中$A^H$为$A$的共轭转置，$I_n$为$n$阶单位阵。

• 判断一个矩阵是否是酉矩阵的简单标准为：
  

  $$A^{-1} = A^H$$

酉不变范数

如果范数$||.||$满足$||A||=||UAV||$,对任何矩阵$||A||$以及酉矩阵$||U||$,$||V||$成立，那么这个范数为酉不变范数。
2-范数和F-范数为酉不变范数。

正定矩阵、半正定矩阵

$A$是n阶方阵，$X$是n维非零向量，如果：

$$X^TAX>0$$
则称 $A$为对称正定矩阵
$$X^TAX>=0$$
刚称 $A$为对称半正定矩阵
- 正定矩阵的判定
- 所有特征值大于0
- 各阶主子式均大于0

• 正定矩阵的理解
  
  • 令$Y$= $AX$, $Y$可以看成是$X$经过 $A$线性变换后得到的向量， 那么由$X^TAX>0$得 $X^TY>0$，这个式子可以得出 $X$与$Y$的点积大于0。也就是说向量 $X$经过$A$变换后与向量 $X$所成的夹角小于90度。

特征值、特征向量

设$A$为 $n$阶方阵，$x$为n维非零向量，当且仅当下式成立时， $x$为矩阵$A$的特征向量， $\lambda$为 $A$的特征值。

$$Ax=\lambda x$$

• 特征分解
  如果$A$存在$n$个线性无关的特征向量，那么$A$可以被分解为：
  

  $$A=P^{-1}\Lambda P$$
  其中$\Lambda$是由$A$的特征值组成的对角阵，$P$的列为$A$的特征向量。

  通俗理解：如果把矩阵看作一次运动，那么：
  特征值就是运动的速度
  特征向量就是运动的方向
  对角阵的特征值是其对角线上的各个元素

相似变换

若$A$，$B$都是n阶矩阵，若存在可逆矩阵$P$，使得$B=P^{-1}AP$, 则称A是B的相似矩阵。
- 对相似矩阵的理解
相似矩阵实际上代表了在不同基下的同一个线性变换，$P$是逆矩阵，对矩阵$A$乘以$P$和$P^{-1}$可以理解为将$B$所对应的坐标转换到$A$下面，实施$A$变换，然后再转换到$B$所对应的坐标下。

奇异值、SVD分解

• 奇异值的定义
  设$A \in C_{m\times n}$, 且$A^HA$的特征值为$\lambda_i >= 0$, 刚称$\sigma_{i}=\sqrt \lambda_i$为矩阵$A$的正奇异值，简称奇异值。
• SVD分解
  $$A=UDV^H$$
  $U$为$m\times m$阶酉矩阵，$V$为$n\times n$阶酉矩阵
  其中$D$为：
  $$\begin{bmatrix} \Sigma_{r\times r}&0_{r\times (n-r)} \\ 0_{(m-r)\times r}&0_{(m-r)\times (n-r)} \end{bmatrix}$$
  $\Sigma_{r\times r}$为$\sigma_i$组成的对角阵