矩阵分析与线性代数基础概念-CSDN博客

本文链接：https://blog.csdn.net/qq_40206924/article/details/125449331

学习来源：《矩阵分析与应用》张贤达清华大学出版社

1.基

1.1 张成集（生成元）

向量 $x_1,x_2,\cdots ,x_d$ 的所有线性组合的集合称为由 $x_1,x_2,\cdots ,x_d$ 张成（或生成）的子空间（或闭包），记作

$W=Span\left \{ x_1,x_2,\cdots x_d \right \}=Close\left \{ x_1,x_2,\cdots x_d \right \}$

向量 $x_1,x_2,\cdots x_d$ 称为子空间 $W$ 的张成集（或生成元）。

1.2 基

生成子空间 $W$ 的线性无关向量 $\left \{ u_{1},u_2,\cdots ,u_d \right \}$ 称为子空间 $W$ 的基向量或简称为基。生成子空间 $W$ 的基向量的个数称为子空间 $W$ 的维数，即

$d=dim(Span\left \{ u_{1},u_2,\cdots ,u_d \right \})$

值得注意的是， $\left \{ u_{1},u_2,\cdots ,u_d \right \}$ 只是子空间 $W$ 的一组基，并非唯一的基。向量空间 $W$ 中的任何 $d$ 个线性无关向量的集合都是 $W$ 的基。虽然一个子空间可能存在许多组基，但所有的基都具有相同的向量个数。

1.3 对偶基、正交基向量和标准正交基向量

1）若 $\left \{ \alpha _1,\alpha _2, \cdots ,\alpha _n\right \}$ 和 $\left \{ \beta _1,\beta _2, \cdots ,\beta _n\right \}$ 是两组不同的基，且 $\alpha _i^H\beta _i=0$ ，则称其中一组基是另外一组基的对偶基。

2）令 $\left \{ x _1,x _2, \cdots ,x _n\right \}$ 是子空间 $Span\left \{ x _1,x _2, \cdots ,x _n\right \}$ 的基向量。若这些基满足正交条件

$\left \langle x_i,x_j \right \rangle=x_i^Tx_j=0,\forall i\neq j$

则称这些基向量为正交基向量。

3）若正交基向量 $\left \{ x _1,x _2, \cdots ,x _n\right \}$ 中所有向量的范数均等于 1 ，即

$\left \| x_i \right \|=1,i=1,2,\cdots ,n$

则称为标注正交基向量。

2. Gram-Schmidt 正交化

将 $x_1,x_2,\cdots ,x_n$ 转换为标准正交向量组 $\left \{ u_1,u_2,\cdots ,u_n \right \}$ 的方法称为 Gram-Schmidt 正交化。

2.1 正交化构造过程

令 $\left \{ x _1,x _2, \cdots ,x _n\right \}$ 是 $p$ 维向量子空间 $W$ 的任意一组基（一组线性无关向量）。那么，子空间 $W$ 的标准正交基可以通过 Gram-Schmidt 正交化构造如下

$p_1=x_1,\qquad u_1=\frac{p_1}{\left \| p_1 \right \|}=\frac{x_1}{\left \| x_1 \right \|}$

$p_k=x_k-\sum_{i=1}^{k-1}(u_i^Hx_k)u_i, \qquad u_k=\frac{p_k}{\left \| p_k \right \|}$

式中， $2\leqslant k\leqslant n$ 。

2.2 例

令 $W=Span\left \{ x_1,x_2 \right \}$ 是 $R^3$ 的子空间，其中

$x_1=\begin{bmatrix} 1\\ 1\\ 2 \end{bmatrix}, \qquad x_2=\begin{bmatrix} 0\\ 2\\ -7 \end{bmatrix}$

令所构造的 $W$ 子空间的正交基向量为 $p_1,p_2$ 。由 Gram-Schmidt 正交化的过程可知，定义 $p_1=x_1,p_2=x_2+ap_1$ ，其中常数 $a$ 根据正交条件 $p_1^Tp_2=0$ 确定。由

$p_1^T p_2=p_1^T(x_2+ap_1)=p_1^Tx_2+ap_1^Tp_1=-12+6a=0$

得 $a=2$ 。所以 $W$ 子空间的正交基为 $\left \{ p_1,p_2 \right \}$ ，其中

$p_1=\begin{bmatrix} 1\\ 1\\ 2 \end{bmatrix}, \qquad p_2=\begin{bmatrix} 2\\ 4\\ -3 \end{bmatrix}$

标准正交基为

$u_1=\begin{bmatrix} \frac{1}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}\\ \frac{2}{\sqrt{6}} \end{bmatrix}, \qquad u_2=\begin{bmatrix} \frac{2}{\sqrt{29}}\\ \frac{4}{\sqrt{29}}\\ \frac{-3}{\sqrt{29}} \end{bmatrix}$

3. 矩阵的标量函数

矩阵的很多性质可以使用标量函数描述。例如：矩阵的二次型、迹、行列式和秩。

3.1 矩阵的二次型

任意一个方阵 $A$ 的二次型 $x^HAx$ 是一个实标量。以实矩阵为例

$x^TAx=\begin{bmatrix} x_1 & x_2 & x_3 \end{bmatrix}\begin{bmatrix} 1 &4 &2 \\ -1& 7 &5 \\ -1& 6 &3 \end{bmatrix}\begin{bmatrix} x_1\\x_2 \\x_3 \end{bmatrix}$

$=x_1^2-x_2x_1-x_3x_1+4x_1x_2+7x_2^2+6x_3x_2+2x_1x_3+5x_2x_3+3x_3^2$

$=x_1^2+7x_2^2+3x_3^2+3x_1x_2+x_1x_3+11x_2x_3$

这是变元 $x$ 的二次型函数，故称 $x^TAx$ 为矩阵 $A$ 的二次型。

对于任何一个二次型函数，存在许多矩阵 $A$ ，它们的二次型 $x^TAx=f(x_1,x_2,\cdots ,x_n)$ 相同。但二次型相同的诸多矩阵中有一个唯一的对称矩阵。因此，在讨论矩阵 $A$ 的二次型时，通常都假定 $A$ 为实对称矩阵或复共轭对称矩阵。

3.2 正定矩阵

称一个对称矩阵为：

1）正定矩阵，若二次型 $x^HAx > 0,\forall x\neq 0$ ；

2）半正定矩阵，若二次型 $x^HAx \geqslant 0,\forall x\neq 0$ ；

3）负定矩阵，若二次型 $x^HAx < 0,\forall x\neq 0$ ；

4）半负定矩阵，若二次型 $x^HAx \leqslant 0,\forall x\neq 0$ ；

5）不定矩阵，若二次型 $x^HAx$ 既可能取正值，也可能取负值。

3.3 矩阵的迹

$n \times n$ 矩阵 $A$ 的对角元素之和称为 $A$ 的迹（trace），记作 $tr(A)$ ，即

$tr(A)=a_{11}+a_{22}+\cdots +a_{nn}=\sum_{i=1}^{n}a_{ii}$

3.4 迹的性质

若 $A$ 和 $B$ 均为 $n \times n$ 矩阵， $c$ 是一个复或实的常数，则：

1） $tr(A\pm B)=tr(A)\pm tr(B)$ ；

2） $tr(cA)=ctr(A)$ ；

3） $tr(c_1A\pm c_2B)=c_1tr(A)\pm c_2tr(B)$ ；

4）矩阵 $A$ 的转置、复数共轭和复数共轭转置的迹分别为

$tr(A^T)=tr(A), \qquad tr(A^*)=[tr(A)]^*, \qquad tr(A^H)=[tr(A)]^*$

5）迹是相似不变量，若 $A$ 为 $m \times n$ 矩阵，且 $B$ 为 $n \times m$ 矩阵，则

$tr(AB)=tr(BA)$

6）若矩阵 $A$ 和 $B$ 均为 $n \times n$ 矩阵，且 $B$ 非奇异，则

$tr(BAB^{-1 })=tr(B^{-1}AB)=tr(A)$

7）若 $A$ 是一个 $m\times n$ 矩阵，则

$tr(A^HA)=0\Leftrightarrow A=O_{m\times n}$

8） $x^HAx=tr(Axx^H)$ 和 $y^Hx=tr(xy^H)$

9）迹等于特征值之和，即

$tr(A)=\lambda _1+\lambda _2+\cdots +\lambda _n$

10）对于任何正整数 $k$ ，有

$tr(A^k)=\sum_{ i=1}^{n}\lambda _{i}^{k}$

等号右边称为 $A$ 的诸特征值的 $k$ 次矩。

11）类似于向量的 Euclidean 范数 $\left \| x \right \|=\sqrt{x^Tx}$ ，一个 $m\times n$ 实矩阵 $A$ 的 Frobenius 范数也可以利用 $m\times m$ 矩阵 $A^TA$ 或 $n\times n$ 矩阵 $AA^T$ 的迹定义为

$\left \| A \right \|_F=\sqrt{tr(A^TA)}=\sqrt{tr(AA^T)}$

3.5 行列式

1）一个 $n\times n$ 正方矩阵 $A$ 的行列式记作 $det(A)$ 或 $\left | A \right |$ ，定义为

$det(A)=\left | A \right |=\begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} &a_{22} &\cdots &a_{2n} \\ \vdots & \vdots & &\vdots \\ a_{n1}&a_{n2} & \cdots & a_{nn} \end{vmatrix}$