自用的线性代数与矩阵论笔记

大写字母表示矩阵（如$A$），小写粗斜体表示向量（如$\mathbf{x}$），正常字体表示标量或坐标点等（如$x_1$）。

向量

$$\begin{array}{rl}& a\times (b\times c)=a^{\times }{b}^{\times }c=(a^{\times }{b}^{\times })c=a^{\times }(b^{\times }c)\\ \ne & (a\times b)\times c=a\times b\times c=(a^{\times }b{)}^{\times }c\end{array}$$
$$\begin{gathered} a\times b\times c\ne a^{\times }{b}^{\times }c \\ (Ra)\times b\ne R(a\times b) \\ (a\times R)b=a\times (Rb) \end{gathered}$$
$$\begin{gathered} (a^{\times }b{)}^{\times }=b{a}^T-a{b}^T \\ {a}^{\times }{b}^{\times }c=(a^{T}c)b-(a^{T}b)c \end{gathered}$$

方阵的迹

定义
$$\text{tr}(A)=\sum _{i=1}^n(a_{ii})$$
性质
$$\begin{array}{rl}& \text{tr}(A)=\text{tr}(A^{\text{T}})\\ & \text{tr}(A+B)=\text{tr}(A)+\text{tr}(B)\\ & \text{tr}(\alpha A)=\alpha \text{tr}(A)\\ & \text{tr}(A)=\sum _{i=1}^n{\lambda }_i\\ & \text{tr}(AB)=\text{tr}(BA)\\ & \text{tr}(A^{\text{T}}A)=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}^2\end{array}$$

矩阵的秩

• A和B等价或相似或合同$\Rightarrow r(A)=r(B)$
• $r(A)=r(A^{\text{T}})=r(A^{\text{T}}A)=r(A{A}^{\text{T}})=r(kA)$
• 若$A$列满秩则$r(AB)=r(B)$，若$A$行满秩则$r(BA)=r(B)$
• $r(A\pm B)\le r(A)+r(B)$
• r ( A ) + r ( B ) − n ≤ r ( A B ) ≤ min ⁡ { r ( A ) , r ( B ) } ≤ max ⁡ { r ( A ) , r ( B ) } ≤ r ( A ⋮ B ) ≤ r ( A ) + r ( B ) r(A)+r(B)-n\le r(AB)\le\min\{r(A), r(B)\}\le\max\{r(A), r(B)\}\le r(A\vdots B)\le r(A)+r(B) r(A)+r(B)−n≤r(AB)≤min{r(A),r(B)}≤max{r(A),r(B)}≤r(A⋮B)≤r(A)+r(B)
• $AB=O\Rightarrow r(A)+r(B)\le n$
• 幂零阵：$A^k=O\Rightarrow r(A)<n$
• 幂等阵：$A^2=A\Rightarrow r(A)+r(I-A)=n$
• 幂幺阵：$A^k=I\Rightarrow r(A)=n$
• $r\left(\begin{array}{ll}A& O\\ O& B\end{array}\right)=r(A)+r(B)\le r\left(\begin{array}{ll}A& 0\\ C& B\end{array}\right)\le r(A)+r(B)+r(C)$
• $r(A\ast )=\{\begin{array}{l}n\iff r(A)=n\\ 1\iff r(A)=n-1\\ 0\iff r(A)<n-1\end{array}$
• 若A可逆，则$r(AB)=r(BA)=r(B)$
• 若$A$是n阶方阵则$r(A)\ge \mu (A)$，$\mu (A)$表示矩阵$A$的非零特征值的个数；若$A$可相似对角化则$r(A)=\mu (A)$
• 若$A$是正定或正交矩阵则$r(A)=n$
• m×n 矩阵 A 的秩为 r 的充分与必要条件为：存在 m 阶满秩矩阵 P 与 n 阶满秩矩阵 Q 使得
  $$PAQ=\Lambda =\left(\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right)$$

若$r(A)=1$，则

• $|\lambda I-A|={\lambda }^n-\text{tr}(A){\lambda }^{n-1}$
• ${\lambda }_1=\text{tr}(A)$，${\lambda }_2=\cdots ={\lambda }_n=0$
• $A^2=\text{tr}(A)A$，$A^n=(\text{tr}(A){)}^{n-1}A$
• （充要条件）存在非零向量$\alpha$、$\beta$使得$A=\alpha \beta$

特征值与特征向量

• 特征值都是单值的矩阵一定可以对角化。
• n阶矩阵有n个线性无关的特征向量是可以相似对角化的充分必要条件。
• 实对称矩阵的不同特征值对应的特征向量两两正交。
• 实对称矩阵可对角化，即必有n个线性无关的特征向量。
• 不同特征值对应的特征向量线性无关。
• 特征值相同的两个矩阵不一定相似。
• ${\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n=\text{tr}(A)$
• ${\lambda }_1{\lambda }_2\cdots {\lambda }_n=|A|$

设$A$是 n 阶矩阵，${\lambda }_0$是$A$的$k$阶特征值，则

• 若$k=1$，则属于特征值${\lambda }_0$的线性无关的特征向量只有一个；
• 若$k>1$，则属于特征值${\lambda }_0$的线性无关的特征向量不超过$k$个。

分块矩阵

设矩阵$A$是一个$n+m$阶方阵，它具有分块三角阵的结构，即
$$A=\left[\begin{array}{cc}{A}_{11}& A_{12}\\ 0& A_{22}\end{array}\right]\text{或}A=\left[\begin{array}{cc}{A}_{11}& 0\\ A_{21}& A_{22}\end{array}\right]$$
其中$A_{11}$和$A_{22}$分别是n阶和m阶可逆方阵，这意味着 A 是可逆阵。利用
$$A^{-1}A=A{A}^{-1}=I_{n+m}$$
可以推得
$$\begin{gathered} A^{-1}=\left[\begin{array}{cc}{A}_{11}^{-1}& -A_{11}^{-1}{A}_{12}{A}_{22}^{-1}\\ 0& A_{22}^{-1}\end{array}\right] \\ {A}^{-1}=\left[\begin{array}{cc}{A}_{11}^{-1}& 0\\ -A_{22}^{-1}{A}_{21}{A}_{11}^{-1}& A_{22}^{-1}\end{array}\right] \end{gathered}$$
一般地，若n+m阶方阵A可以写成分块形式
$$A=\left[\begin{array}{cc}{A}_{11}& A_{12}\\ A_{21}{A}_{11}^{-1}& A_{22}\end{array}\right]$$
其中$A_{11}$和$A_{22}$具有与前相同的性质，那么利用矩阵分解关系式
$$A=\left[\begin{array}{cc}{I}_n& 0\\ A_{21}{A}_{11}^{-1}& I_m\end{array}\right]\left[\begin{array}{cc}{A}_{11}& A_{12}\\ 0& A_{22}-A_{21}{A}_{11}^{-1}{A}_{12}\end{array}\right]$$
$$A=\left[\begin{array}{cc}{I}_n& A_{12}{A}_{22}^{-1}\\ 0& I_m\end{array}\right]\left[\begin{array}{cc}{A}_{11}-A_{12}{A}_{22}^{-1}{A}_{21}& 0\\ A_{21}& A_{22}\end{array}\right]$$
和前面关于三角阵的求逆结果，可以推得矩阵 A 的分块求逆公式如下：
$$A^{-1}=\left[\begin{array}{cc}{A}_{11}^{-1}+A_{11}^{-1}{A}_{12}{\tilde{A}}_{22}^{-1}{A}_{21}{A}_{11}^{-1}& -A_{11}^{-1}{A}_{12}{\tilde{A}}_{22}^{-1}\\ -{\tilde{A}}_{22}^{-1}{A}_{21}{A}_{11}^{-1}& {\tilde{A}}_{22}^{-1}\end{array}\right]$$
$$A^{-1}=\left[\begin{array}{cc}{\tilde{A}}_{11}^{-1}& -{\tilde{A}}_{11}^{-1}{A}_{12}{A}_{22}^{-1}\\ -A_{22}^{-1}{A}_{21}{\tilde{A}}_{11}^{-1}& A_{22}^{-1}+A_{22}^{-1}{A}_{21}{\tilde{A}}_{11}^{-1}{A}_{12}{A}_{22}^{-1}\end{array}\right]$$
其中
$$\begin{gathered} {\tilde{A}}_{11}=A_{11}-A_{12}{A}_{22}^{-1}{A}_{21} \\ {\tilde{A}}_{22}=A_{22}-A_{21}{A}_{11}^{-1}{A}_{12} \end{gathered}$$
假定矩阵A是可逆矩阵，因而${\tilde{A}}_{11}^{-1}$和${\tilde{A}}_{22}^{-1}$总是存在的。根据逆矩阵的唯一性，对比两式立即得到（这附近的推导可能有问题）
$$(A_{11}-A_{12}{A}_{22}^{-1}{A}_{21}{)}^{-1}=A_{11}^{-1}+A_{11}^{-1}{A}_{12}{\tilde{A}}_{22}^{-1}{A}_{21}{A}_{11}^{-1}$$
$$A_{22}-A_{21}{A}_{11}^{-1}{A}_{12}=A_{22}^{-1}+A_{22}^{-1}{A}_{21}{\tilde{A}}_{11}^{-1}{A}_{12}{A}_{22}^{-1}$$
这是两个非常重要的矩阵恒等式，在矩阵变换中经常用到。其中第一式习惯上称为矩阵反馈公式。

• 若A和B是方阵，则
  $$|AB|=|A|\cdot |B|$$
  上式可用初等变换方法证明。
• 若A和D是方阵，则
  $$\left|\begin{array}{cc}A& B\\ 0& D\end{array}\right|=|A|\cdot |D|$$
  QR分解法证明：
  $$\begin{array}{rl}& \left|\begin{array}{cc}A& 0\\ 0& D\end{array}\right|=\left|\begin{array}{cc}A& 0\\ 0& I\end{array}\right|\left|\begin{array}{cc}I& 0\\ 0& D\end{array}\right|=|A|\cdot |D|\\ & \left|\begin{array}{cc}A& B\\ 0& D\end{array}\right|=\left|\begin{array}{cc}{Q}_A& 0\\ 0& Q_D\end{array}\right|\cdot \left|\begin{array}{cc}{R}_A& Q_A^{\text{T}}B\\ 0& R_D\end{array}\right|=|Q_A|\cdot |Q_D|\cdot |R_A|\cdot |R_D|\end{array}$$
• 若A和D是方阵且A可逆，则
  $$\left|\begin{array}{cc}A& B\\ C& D\end{array}\right|=|A|\cdot |D-C{A}^{-1}B|$$
  若D可逆则
  $$\left|\begin{array}{cc}A& B\\ C& D\end{array}\right|=|D|\cdot |A-B{D}^{-1}C|$$
  证明
  $$\begin{array}{rl}\left|\begin{array}{cc}A& B\\ C& D\end{array}\right|=& \left|\begin{array}{cc}I& 0\\ C{A}^{-1}& I\end{array}\right|\left|\begin{array}{cc}A& B\\ 0& D-C{A}^{-1}B\end{array}\right|\\ =& \left|\begin{array}{cc}I& B{D}^{-1}\\ 0& I\end{array}\right|\left|\begin{array}{cc}A-B{D}^{-1}C& 0\\ C& D\end{array}\right|\end{array}$$

矩阵的正定与负定

  设矩阵$A$为n阶对称阵，如果对于所有n维列向量$\mathbf{x}$，二次型${\mathbf{x}}^{\text{T}}A\mathbf{x}$均为非负，则称矩阵$A$为非负定矩阵，并用$A\ge 0$来表示。进一步，如果矩阵$A$为非负定矩阵，且对所有非零向量$\mathbf{x}$，二次型${\mathbf{x}}^{\text{T}}A\mathbf{x}$总大于零，则称矩阵$A$为正定阵，并且用$A>0$来表示。对称矩阵$A$当且仅当其所有特征值非负时才是非负定阵；当且仅当特征值均为正时才是正定阵。显然，若矩阵$A$为正定阵，则其逆矩阵存在且也为正定阵。
  如果$D$是任意$n\times m$阶矩阵，则$A=D{D}^{\prime }$是非负定阵；当且仅当$D$行满秩时，$A=D{D}^{\prime }$才是正定阵。
  如果$A$和$B$是同阶非负定阵，$\alpha$和$\beta$为非负常数，则$\alpha A+\beta B$为非负定阵；若$A$、$B$两者之一是正定阵而另一个为非负定阵且$\alpha$和$\beta$均大于零，则$\alpha A+\beta B$是正定阵。设$A$和$B$分别为非负定阵和正定阵，称-A和-$B$分别是非正定阵和负定阵。非正定阵和负定阵分别与非负定阵和正定阵具有相反而类似的性质。
  几个名词：

• 标准形
• 规范形
• 矩阵等价
• 矩阵相似
• 矩阵合同

  二次型的标准形的系数中正负系数的个数保持不变，分别称为二次型的正负惯性指数。$n$阶实对称矩阵$A$和$B$的正负惯性指数相同是$A$和$B$合同的充分必要条件。
  记二次型$f(\mathbf{x})={\mathbf{x}}^{\text{T}}A\mathbf{x}$，$A$为$n$阶实对称矩阵，下列命题相互等价：

• $f$是正定（负定）二次型
• $f$的正（负）惯性指数为$n$
• $A$的特征值全为正（负）
• $A$合同于$+I$（$-I$）
• $A$的顺序主子式都大于0（$A$的奇数阶顺序主子式为负，偶数阶顺序主子式为正）
• 存在可逆矩阵$B$使得$A=B^{T}B$
• $a_{ii}>0$，$i=1,2,\cdots ,n$

内积与范数

向量范数：

• 非负性：对所有$\vec{x}$均有 $||\vec{x}||\ge 0$；当且仅当 $\vec{x}=0$ 时，才有$||\vec{x}||=0$；
• 齐次性：$||k\vec{x}||=|k|||\vec{x}||$；
• 三角不等式 $||A+B||\le ||A||+||B||$。

矩阵范数除此以外还有次乘性：

• 次乘性：$||AB||\le ||A||||B||$。

如果向量范数$||x||$和矩阵范数$||A||$满足$||Ax||\le ||A||||x||$，则称相容。

矩阵的微分运算

矩阵微分运算有几种不同的情况。

矩阵函数对标量的导数

设n×m阶矩阵$A$、$B$和m×1阶矩阵$C$的元素都是实变数t的函数，$\lambda =\lambda (t)$是$t$的标量实值函数。定义矩阵$A$对$t$的导数等于$A$的每个元素$a_{ij}(t)$对$t$分别求导所构成的n×m阶矩阵，即
$$\frac{\text{d}A}{\text{d}t}=\left[\frac{\text{d}{a}_{ij}(t)}{\text{d}t}\right]$$
比如，对于n维列向量$\mathbf{x}＝[x_1(t)x_2(t)\cdots x_n(t){]}^{\text{T}}$，按定义就有
$$\frac{\text{d}\mathbf{x}}{\text{d}t}={\left[\frac{\text{d}{x}_1(t)}{\text{d}t}\frac{\text{d}{x}_2(t)}{\text{d}t}\cdots \frac{\text{d}{x}_n(t)}{\text{d}t}\right]}^{\text{T}}$$
关于矩阵函数对标量的导数，根据上述定义容易验证如下运算规则；
$$\begin{array}{rl}& \frac{\text{d}(A+B)}{\text{d}t}=\frac{\text{d}A}{\text{d}t}+\frac{\text{d}B}{\text{d}t}\\ & \frac{\text{d}(\lambda A)}{\text{d}t}=\frac{\text{d}\lambda }{\text{d}t}A+\lambda \frac{\text{d}A}{\text{d}t}\\ & \frac{\text{d}(AC)}{\text{d}t}=\frac{\text{d}A}{\text{d}t}C+A\frac{\text{d}C}{\text{d}t}\end{array}$$

标量函数对矩阵的导数

设$f=f(A)$、$g=g(A)$是以矩阵$A$的n×m个元素为自变量的标量定值函数。定义$f$对$A$的导数为如下$n\times m$阶矩阵
$$\frac{\text{d}f}{\text{d}A}\triangleq \left[\frac{\partial f}{\partial a_{ij}}\right]$$
对于上述这类微分运算，显然有
$$\begin{array}{rl}& \frac{\text{d}(f+g)}{\text{d}A}=\frac{\text{d}f}{\text{d}A}+\frac{\text{d}g}{\text{d}A}\\ & \frac{\text{d}(fg)}{\text{d}A}=\frac{\text{d}f}{\text{d}A}g+f\frac{\text{d}g}{\text{d}A}\end{array}$$

矩阵函数对向量的导数

设$F(\mathbf{x})$是n维列向量$\mathbf{x}$的$m\times l$阶矩阵函数，即$F(\mathbf{x})=(f_{ij}(\mathbf{x}){)}_{m\times l}$，而$\mathbf{x}=[x_1{x}_2\cdots x_n{]}^{\text{T}}$。定义$F(\mathbf{x})$对$\mathbf{x}$的导数为如下nm×l阶矩阵：
$$\frac{\text{d}F}{\text{d}\mathbf{x}}\triangleq [\frac{\partial F(\mathbf{x})}{\partial x_1}⋮\frac{\partial F(\mathbf{x})}{\partial x_2}\cdots ⋮\frac{\partial F(\mathbf{x})}{\partial x_n}{]}^{\text{T}}$$
其中
$$\frac{\partial F(\mathbf{x})}{\partial x_k}\triangleq \frac{\partial f_{i}j(\mathbf{x})}{\partial x_k}$$
对于这类运算，我们有
$$\begin{array}{rl}& \frac{\text{d}F(\mathbf{x})+G(\mathbf{x})}{\text{d}\mathbf{x}}=\frac{\text{d}F(\mathbf{x})}{\text{d}\mathbf{x}}+\frac{\text{d}G(\mathbf{x})}{\text{d}\mathbf{x}}\\ & \frac{\text{d}(F^{\text{T}}(\mathbf{x})G(\mathbf{x}))}{\text{d}\mathbf{x}}=\frac{\text{d}{F}^{\text{T}}(\mathbf{x})}{\text{d}\mathbf{x}}G(\mathbf{x})+\frac{\text{d}{G}^{\text{T}}(\mathbf{x})}{\text{d}\mathbf{x}}F(\mathbf{x})\end{array}$$

几个常用的矩阵微分公式

根据前面的定义，不难验证以下矩阵微分公式：

• 设$f=f(\mathbf{x})$是n维列向量$\mathbf{x}$的标量定值函数，则有
  $$\frac{\text{d}f}{\text{d}t}={\left[\frac{\text{d}f}{\text{d}\mathbf{x}}\right]}^{\text{T}}\frac{\text{d}\mathbf{x}}{\text{d}t}$$
  式中t为实变数。
• 设$\mathbf{x}$为n维列向量，$\mathbf{a}$和$B$分别为与$\mathbf{x}$无关的m维列向量和m×n阶矩阵，f为$\mathbf{x}$的一个二次型，且
  $$f=(\mathbf{a}+B\mathbf{x}{)}^{\text{T}}(\mathbf{a}+B\mathbf{x})$$
  则有
  $$\begin{array}{rl}& \frac{\text{d}(\mathbf{a}+B\mathbf{x})}{\text{d}\mathbf{x}}=B^{\text{T}}\\ & \frac{\text{d}f}{\text{d}\mathbf{x}}=2B^{\text{T}}(\mathbf{a}-B\mathbf{x})\end{array}$$
• 设$A$为n阶方阵，其元素是实变数t的函数，且对所有的t，$A^{-1}$存在，则有
  $$\frac{\text{d}{A}^{-1}}{\text{d}t}=-A^{-1}\frac{\text{d}A}{\text{d}t}{A}^{-1}$$
  此式可通过恒等式
  $$\frac{\text{d}{I}_n}{\text{d}t}=\frac{\text{d}A{A}^{-1}}{\text{d}t}=0$$
  导出。
• 设，则有的解为矩阵$A$的伪迹。式中星号*表示转置兼取复数共轭。
• 其它常用公式

$$\begin{array}{rl}& \frac{\text{d}{\mathbf{x}}^{\text{T}}}{\text{d}\mathbf{x}}=\frac{\text{d}\mathbf{x}}{\text{d}{\mathbf{x}}^{\text{T}}}=I_n\\ & \frac{\text{d}({\mathbf{x}}^{\text{T}}\mathbf{A}\mathbf{x})}{\text{d}\mathbf{x}}=(\mathbf{A}+{\mathbf{A}}^{\text{T}})\mathbf{x}\\ & \frac{\text{d}({\mathbf{x}}^{\text{T}}\mathbf{A}\mathbf{x})}{\text{d}\mathbf{A}}=\mathbf{x}{\mathbf{x}}^{\text{T}}\\ & \frac{\text{d}J}{\text{d}\mathbf{X}}=\frac{\text{d}({\mathbf{\alpha }}^{\text{T}}\mathbf{X}\mathbf{\beta })}{\text{d}\mathbf{X}}=\mathbf{\alpha }{\mathbf{\beta }}^{\text{T}}exp\end{array}$$

矩阵函数及其导数的一些性质

定义
$$\begin{array}{rl}& {\text{e}}^A=I+At+\frac{A^2}{2!}+\frac{A^3}{3!}+\cdots \\ & \sin A=A-\frac{A^3}{3!}+\frac{A^5}{5!}-\cdots \\ & \cos A=1-\frac{A^2}{2!}+\frac{A^4}{4!}+\cdots \\ & \ln (1+A)=A-\frac{A^2}{2}+\frac{A^3}{3}-\cdots (1)\end{array}$$
性质
$$\begin{array}{rl}& A{\text{e}}^A={\text{e}}^{A}A\\ & {\text{e}}^A\cdot {\text{e}}^B={\text{e}}^B\cdot {\text{e}}^A={\text{e}}^{A+B}(2)\\ & ({\text{e}}^A{)}^{-1}={\text{e}}^{-A}\\ & {\text{e}}^{jA}=\cos A+j\sin A\\ & {\text{e}}^{-At}=({\text{e}}^{At}{)}^{-1}\\ & {\text{e}}^{P^{-1}APt}=P^{-1}{\text{e}}^{At}P\\ & \ln ({\text{e}}^A)=A(3)\\ & \ln (AB)=\ln A+\ln B(4)\\ & \frac{\text{d}}{\text{d}t}{\text{e}}^{At}=A{\text{e}}^{At}={\text{e}}^{At}A\\ & \frac{\text{d}}{\text{d}t}(A(t)B(t))=A^{\prime }B+A{B}^{\prime }\\ & \frac{\text{d}}{\text{d}t}(A^2(t))=A^{\prime }A+A{A}^{\prime }\ne 2A{A}^{\prime }\\ & \frac{\text{d}}{\text{d}t}({\text{e}}^{A(t)})\ne A^{\prime }(t){\text{e}}^{A(t)}\ne {\text{e}}^{A(t)}{A}^{\prime }(t)(5)\end{array}$$
注：
(1)需满足收敛域条件$|A|<1$
(2)需满足$AB=BA$。
(3)需满足$|{\text{e}}^A-I|<1$
(4)需满足$|AB-I|<1$和$AB=BA$。
(5)仅当$A^{\prime }A=A{A}^{\prime }$时才能为等号但一般不等。

常系数齐次/非齐次线性微分方程组

$$\begin{array}{rl}& {\mathbf{x}}^{\prime }(t)=A\mathbf{x}(t)\\ & \mathbf{x}(t)={\text{e}}^{A(t-t_0)}\mathbf{x}(t_0)\\ & {\mathbf{x}}^{\prime }(t)=A\mathbf{x}(t)+\mathbf{f}(t)\\ & \mathbf{x}(t)={\text{e}}^{A(t-t_0)}\mathbf{x}(t_0)+{\int }_{t_0}^t{\text{e}}^{A(t-\tau )}\mathbf{f}(\tau )\text{d}\tau \end{array}$$
证明
$$\begin{array}{rl}& x^{\prime }-Ax=f\\ & {\text{e}}^{-At}(x^{\prime }-Ax)=({\text{e}}^{-At}x{)}^{\prime }={\text{e}}^{-At}f\\ & {\text{e}}^{-At}x(t)={\int }_{t_0}^t{\text{e}}^{-A\tau }f(\tau )\text{d}\tau +C\\ & C={\text{e}}^{-A{t}_0}x(t_0)\\ & x(t)={\text{e}}^{A(t-t_0)}x(t_0)+{\int }_{t_0}^t{\text{e}}^{A(t-\tau )}f(\tau )\text{d}\tau \end{array}$$

矩阵的伪逆

设A为n×m阶矩阵，其元素可以是复数。我们称基于A形成的矩阵代数方程组

Jordan标准型

$$A=\left[\begin{array}{ccc}3& 1& -1\\ 1& 2& -1\\ 2& 1& 0\end{array}\right]$$
方法一：
求矩阵的特征值和特征向量 $f_A(\lambda )=\lambda I-A=(\lambda -1)(\lambda -2{)}^2$，
对于矩阵$A$的特征值${\lambda }_0$，
${\lambda }_0$的代数重数指${\lambda }_0$作为特征多项式$f_A(\lambda )$的根的重数。
${\lambda }_0$的几何重数指${\lambda }_0$对应的特征向量的个数。
任一特征值的代数重数不小于它的几何重数。
$\lambda =1$对应的特征向量为$[0,1,1{]}^{\text{T}}$，代数重数1，几何重数1。
$\lambda =2$对应的特征向量为$[1,0,1{]}^{\text{T}}$，代数重数2，几何重数1。
将Jordan标准型写成$AP=PJ$的形式
$$\begin{array}{rl}J=& \left[\begin{array}{ccc}1& 0& 0\\ 0& 2& 1\\ 0& 0& 2\end{array}\right]\\ \left[\begin{array}{ccc}3& 1& -1\\ 1& 2& -1\\ 2& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 1\\ 1& 0& 1\\ 1& 1& 1\end{array}\right]=& \left[\begin{array}{ccc}0& 1& 1\\ 1& 0& 1\\ 1& 1& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 2& 1\\ 0& 0& 2\end{array}\right]\end{array}$$
其中$P$由$A$的特征向量和广义特征向量组成。
方法二：
行列式因子 $D_k(\lambda )$：所有子式的最大公约数（3阶矩阵有4+4+1个2阶子式）。
不变因子 $d_k(\lambda )$：n阶与n-1阶行列式因子的商。
初等因子：所有 $(\lambda -a{)}^b$ 形式的项。
几个例子
行列式 $D_1=1,D_2=\lambda -1,D_3=(\lambda -1{)}^3$
不变 $d_1=1,d_2=\lambda -1,d_3=(\lambda -1{)}^2$
初等 $\lambda -1,(\lambda -1{)}^2$
行列式 $D_1=1,D_2=1,D_3=(\lambda -1)(\lambda -2{)}^2$
不变 $d_1=1,d_2=1,d_3=(\lambda -1)(\lambda -2{)}^2$
初等 $\lambda -1,(\lambda -2{)}^2$
$\lambda$ 矩阵的初等变换之间等价，Smith标准型中的各个非零元素为不变因子。

矩阵分解

LU分解

$$\begin{array}{rl}& \left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& c& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ a& 1& 0\\ b& 0& 1\end{array}\right]A=U\\ A=& {\left[\begin{array}{ccc}1& 0& 0\\ a& 1& 0\\ b& 0& 1\end{array}\right]}^{-1}{\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& c& 1\end{array}\right]}^{-1}U\\ =& \left[\begin{array}{ccc}1& 0& 0\\ -a& 1& 0\\ -b& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -c& 1\end{array}\right]U=\left[\begin{array}{ccc}1& 0& 0\\ -a& 1& 0\\ -b& -c& 1\end{array}\right]U\end{array}$$

QR分解

$$\begin{array}{rl}A=& \left[\begin{array}{ccc}2& -3& 1\\ 1& 1& -6\\ 2& 4& 2\end{array}\right]\\ H=& I-2\omega {\omega }^{\text{T}}\end{array}$$
将第一列向量$[2,1,2{]}^{\text{T}}$变换到x轴上并保持长度不变，即$[3,0,0{]}^{\text{T}}$，${\omega }^{\text{T}}=[2,1,2]-[3,0,0]=[-1,1,2]$后再取单位向量，代入$H$，则。
$$H=\left[\begin{array}{ccc}\frac{2}{3}& \frac{1}{3}& \frac{2}{3}\\ \frac{1}{3}& \frac{2}{3}& -\frac{2}{3}\\ \frac{2}{3}& -\frac{2}{3}& -\frac{1}{3}\end{array}\right]\left[\begin{array}{c}2\\ 1\\ 2\end{array}\right]=\left[\begin{array}{c}3\\ 0\\ 0\end{array}\right]$$

满秩分解

$$\begin{gathered} A=[F⋮G],LF=I \\ LA=C=[I⋮LG],B=F \\ BC=F[I⋮LG]=[F⋮FLG]=[F⋮LFG]=A \end{gathered}$$

奇异值分解

$$\begin{gathered} A=UD{V}^{\text{T}} \\ {V}_1=A^{\text{T}}{U}_1{D}^{-1} \\ {U}_1=A{V}_1{D}^{-1} \end{gathered}$$

广义逆矩阵

  方程组有解称作相容，否则称为不相容或矛盾方程组。相容方程组的通解为
$$x=A^{-}b+(I-A^{-}A)z$$
其中$z$是与$x$同维的任意向量，$A^{-}$是$A$的任一减号逆，满足
$$A{A}^{-}A=A$$
如果还另外满足$A^{-}A{A}^{-}=A^{-}$，则称$A^{-}$是$A$的自反减号逆，记作$A_r^{-}$。证明：
$$Ax=A{A}^{-}b+A(I-A^{-}A)z=A{A}^{-}b$$
矩阵$A$的左逆和右逆分别满足 $ A_L^{{-1}A=I$和$AA_R}{-1}=I $，当$A$分别列满秩和行满秩时，分别存在左逆和右逆
$$\begin{gathered} A_L^{-1}=(A^{\text{T}}A{)}^{-1}{A}^{\text{T}} \\ {A}_R^{-1}=A^{\text{T}}(A{A}^{\text{T}}{)}^{-1} \end{gathered}$$
且分别是列满秩和行满秩矩阵$A$的自反减号逆$A_r^{-}$，同时也是最小范数广义逆$A_m^{-}$、最小二乘广义逆$A_l^{-}$、加号逆$A^{+}$。
  举例，方程组
$$\{\begin{array}{ll}{x}_1+2x_2+x_3& =1\\ -x_2+2x_3& =2\end{array},Ax=b$$
行满秩，可求其右逆$A_R^{-1}$为减号逆$A^{-}$，并求出通解。
$A$的加号逆为同时满足下面4个式子的矩阵，且唯一。
$$\begin{array}{rl}& AGA=A\\ & GAG=G\\ & (AG{)}^{\text{T}}=AG\\ & (GA{)}^{\text{T}}=GA\end{array}$$
当

其他

• 列满秩矩阵的列向量线性无关，一般为竖形状。列范数$||A|{|}_1$指对每一列元素(每个列向量)的绝对值求和的最大值。
• $||A|{|}_{m_1}$范数是所有元素绝对值的和；$||A|{|}_{m_2}/||A|{|}_F$范数是所有元素平方和开根号；$||A|{|}_{m_{\infty }}$范数是所有元素绝对值最大值×阶数。

$$\begin{array}{rl}(A+BCD{)}^{-1}=& A^{-1}-A^{-1}B(D{A}^{-1}B+C^{-1}{)}^{-1}D{A}^{-1}\\ (A+\vec{u}{\vec{u}}^{\text{T}}{)}^{-1}=& A^{-1}-\frac{A^{-1}\vec{u}{\vec{u}}^{\text{T}}{A}^{-1}}{1+{\vec{u}}^{\text{T}}{A}^{-1}\vec{u}}\end{array}$$
$$\vec{a}\times (\vec{b}\times \vec{c})=(\vec{a}\cdot \vec{c})\vec{b}-(\vec{a}\cdot \vec{b})\vec{c}$$
$$(\vec{a}\times \vec{b})\times \vec{c}=(\vec{a}\cdot \vec{c})\vec{b}-\vec{a}(\vec{b}\cdot \vec{c})$$

参考

【Math for ML】矩阵分解(Matrix Decompositions)
分块矩阵的行列式