线性代数初步

线性代数入门

本文仅对OI有用部分的线性代数进行初步解析，

如果要了解练习与详细请阅读华章数学译丛 《线性代数》

---

矩阵

定义 $A$ 为一 $m\times n$ 的矩阵为

$$\left[\begin{array}{cccc}{a}_{1,1}& a_{1,2}& \cdots & a_{1,n}\\ a_{1,2}& a_{2,2}& \cdots & a_{2,n}\\ ⋮& & & \\ a_{m,1}& a_{m,2}& \cdots & a_{m,n}\end{array}\right]$$

行、列向量

行向量: $\overrightarrow{a_1}=\left[\begin{array}{cccc}{a}_{1,1}& a_{1,2}& \cdots & a_{1,n}\end{array}\right]$

列向量: $a_1=\left[\begin{array}{c}{a}_{1,1}\\ a_{2,1}\\ ⋮\\ a_{m,1}\end{array}\right]$

增广矩阵:

定义 $A(m\times n),B(m\times r)$ ，则 $(A|B)$ 为

$$\left[\begin{array}{cc}\begin{array}{cccc}{a}_{1,1}& a_{1,2}& \cdots & a_{1,n}\\ a_{1,2}& a_{2,2}& \cdots & a_{2,n}\\ ⋮& & & \\ a_{m,1}& a_{m,2}& \cdots & a_{m,n}\end{array}& \begin{array}{cccc}{b}_{1,1}& b_{1,2}& \cdots & b_{1,r}\\ b_{1,2}& b_{2,2}& \cdots & b_{2,r}\\ ⋮& & & \\ b_{m,1}& b_{m,2}& \cdots & b_{m,r}\end{array}\end{array}\right]$$

矩阵内初等运算

初等行运算:

1. 交换两行.
2. 以非零实数乘以某行.
3. 将某行替换为它与其他行的倍数的和.

矩阵间运算

代数法则:

$A(m\times n)+B(m\times n)=\left[\begin{array}{cccc}{a}_{1,1}+b_{1,1}& a_{1,2}+b_{1,2}& \cdots & a_{1,n}+b_{1,n}\\ a_{1,2}+b_{1,2}& a_{2,2}+b_{2,2}& \cdots & a_{2,n}+b_{2,n}\\ ⋮& & & \\ a_{m,1}+b_{m,1}& a_{m,2}+b_{m,2}& \cdots & a_{m,n}+b_{m,n}\end{array}\right]$

$A(m\times n)B(n\times r)=C(m\times r),c_{i,j}=\overrightarrow{a_i}{b}_j$

$A+B=B+A$

$(AB)C=A(BC)$

$\lambda A=\left[\begin{array}{cccc}\lambda a_{1,1}& \lambda a_{1,2}& \cdots & \lambda a_{1,n}\\ \lambda a_{1,2}& \lambda a_{2,2}& \cdots & \lambda a_{2,n}\\ ⋮& & & \\ \lambda a_{m,1}& \lambda a_{m,2}& \cdots & \lambda a_{m,n}\end{array}\right]$

注意: 矩阵乘法不满足交换律，即 $A\times B\ne B\times A$

矩阵的转置

若 $A(m\times n)$， 则定义 $A^T(n\times m)$

$$A^T(n\times m)=\left[\begin{array}{cccc}{a}_{1,1}& a_{1,2}& \cdots & a_{1,m}\\ a_{1,2}& a_{2,2}& \cdots & a_{2,m}\\ ⋮& & & \\ a_{n,1}& a_{n,2}& \cdots & a_{n,m}\end{array}\right]$$

$(AB{)}^T=B^T{A}^T$

单位矩阵

定义 $I$ 为 $n\times n$ 单位矩阵，即仅在主对角线位置的值为 $1$ ，其余位置为 $0$ 的矩阵

$$I=\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& & & \\ 0& 0& \cdots & 1\end{array}\right]$$

矩阵的逆

定义唯一的 $A^{-1}$ ，$A(A^{-1})=I$

如果一个矩阵 $A$ 可逆，它一定可以转化为 $I$，如果不能，则称之为奇异的矩阵

初等矩阵

三类初等矩阵均由 $I$ 进行一次初等行运算得来。

初等矩阵的逆与自身为同一类初等矩阵。

第一类:交换 $I$ 两行得来，例子:第 $2$ 行与第 $3$ 行。 $EA$ 矩阵即交换 $A$ 的 $i$ 行 $j$ 行，$AE$ 交换 $i$ 列 $j$ 列。

$$E_1=\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right],{E_1}^{-1}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right],EA=\left[\begin{array}{ccc}{a}_{1,1}& a_{1,2}& a_{1,3}\\ a_{3,1}& a_{3,2}& a_{3,3}\\ a_{2,1}& a_{2,2}& a_{2,3}\end{array}\right]$$

第二类:某一行乘上一个非零系数得到，$EA$ 扩大行倍数，$AE$ 扩大列倍数。

$$E_2=\left[\begin{array}{ccc}1& 0& 0\\ 0& 3& 0\\ 0& 0& 1\end{array}\right],{E_2}^{-1}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \frac{1}{3}& 0\\ 0& 0& 1\end{array}\right],EA=\left[\begin{array}{ccc}{a}_{1,1}& a_{1,2}& a_{1,3}\\ 3a_{2,1}& 3a_{2,2}& 3a_{2,3}\\ a_{3,1}& a_{3,2}& a_{3,3}\end{array}\right]$$

第三类: $I$ 某一行的倍数加到了另一行得到，$EA$ 行加，$AE$ 列加

$$E_3=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 3\\ 0& 0& 1\end{array}\right],{E_3}^{-1}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& -3\\ 0& 0& 1\end{array}\right],EA=\left[\begin{array}{ccc}{a}_{1,1}& a_{1,2}& a_{1,3}\\ a_{2,1}+3a_{3,1}& a_{2,2}+3a_{3,2}& a_{2,3}+3a_{3,3}\\ a_{3,1}& a_{3,2}& a_{3,3}\end{array}\right]$$

其中 $EA$ 中的 $E$ 的 $a_{2,3}$ 表示为把 $A$ 的第三行扩大到 $a_{2,3}$ 倍后，对应加到 $EA$ 的第二行。

$AE$ 则表示把 $A$ 的第二列扩大到 $a_{2,3}$ 倍后，对应加到 $AE$ 的第三列。

---

若存在有限初等矩阵序列 $E_1,E_2,\cdots ,E_k$ ，使得

$$B=E_1{E}_2\cdots E_{k}A$$

则说明 $A$ 与 $B$ 可以互相转换($B$ 转化为 $A$ 只需要把序列元素取逆)，称之为 $A$ 与 $B$ 是行等价的。

这个性质可以传递闭包，即若 $B$ 与 $C$ 行等价，则 $A$ 与 $C$ 行等价。

---

若 $A$ 为非奇异矩阵，即 $A$ 可逆，那么一定存在 $E_1,E_2,\cdots ,E_k$ ，使得

$$(A^{-1})A=(E_1{E}_2\cdots E_k)A=I$$

因此，$A$ 与 $I$ 行等价。

同样地通过 $I$ 得到 $A^{-1}$ ，仅需要在等式两边乘上 $A^{-1}$

$$(E_1{E}_2\cdots E_k)I=A^{-1}$$

同时也可以说明 $Ax=b$ 存在唯一解 $A^{-1}b$

$A^{-1}$ 的 求法 : 可以把增广矩阵 $(A|I)\times E_1{E}_2\cdots E_k=(I|$$A^{-1}$)

实际上就是一个消元的过程。

对角矩阵和三角形矩阵

三角形矩阵分为

下三角矩阵

$$\left[\begin{array}{ccc}{a}_{1,1}& 0& 0\\ a_{2,1}& a_{2,2}& 0\\ a_{2,1}& a_{3,2}& a_{3,3}\end{array}\right]$$

上三角矩阵

$$\left[\begin{array}{ccc}{a}_{1,1}& a_{1,2}& a_{1,3}\\ 0& a_{2,2}& a_{2,3}\\ 0& 0& a_{2,3}\end{array}\right]$$

对角矩阵

$$\left[\begin{array}{ccc}{a}_{1,1}& 0& 0\\ 0& a_{2,2}& 0\\ 0& 0& a_{3,3}\end{array}\right]$$

其中 $a_{i,j}$ 可以为 $0$

一个普通矩阵$A$一定可以分成一个单位下三角矩阵 $L$ 和严格上三角形矩阵 $U$,即$A=LU$ 。(实际上是高斯消元成上三角矩阵$U$,消元过程相当于一个下三角矩阵$L$) 此为$LU$分解.

$$U=E_1{E}_2\cdots E_{k}A$$

则

$L=(E_1{E}_2\cdots E_k{)}^{-1}=E_k^{-1}{E}_{k-1}^{-1}\cdots {E_1}^{-1}$

向量

向量可以看作$n\ast 1$的矩阵,一般向量当作列向量.

长度为$n$,每一项都为实数的向量$x\in R^n,R^n$为$n$维欧几里得空间

两个列向量$x,y,x^{T}y$的结果为一实数,称为内积.

$x{y}^T=\left|\begin{array}{cccccc}& x_1{y}_1& x_1{y}_2& x_1{y}_3& ...& x_1{y}_n\\ & x_2{y}_1& x_2{y}_2& x_2{y}_3& ...& x_2{y}_n\\ & ⋮& \ddots & & & \\ & x_n{y}_1& x_n{y}_2& x_n{y}_3& ...& x_n{y}_n\end{array}\right|$,结果为$n\ast n$的矩阵,称为外积.

容易看出,每一行都是$y^T$的倍数,每一列都是$x$的倍数.

我们可以把向量拓展为矩阵,设$X,Y$分别为$m\ast n,k\ast n$的矩阵.

$X{Y}^T=[x_1{x}_2...x_n]\left[\begin{array}{c}{y}_1^T\\ y_2^T\\ ⋮\\ y_n^T\end{array}\right]={\sum }_{i=1}^n{x}_i{y}_i^T$,称为外积展开.

行列式

行列式是一个标量，简记为

$$\det (A)$$

或

$$\left|\begin{array}{cccc}{a}_{1,1}& a_{1,2}& \cdots & a_{1,n}\\ a_{2,1}& a_{2,2}& \cdots & a_{2,n}\\ ⋮& & & \\ a_{m,1}& a_{m,2}& \cdots & a_{m,n}\end{array}\right|$$

可以用来表示 $A$ 是否可逆，可逆当且仅当 $\det (A)$ 非 $0$。

因此对于 $1\times 1$ 的矩阵 ，$\det (A)=a_{1,1}$

对于 $2\times 2$ 的矩阵，取决于能否使得 $A$ 转化为 $I$，显然有

$$\left[\begin{array}{cc}{a}_{1,1}& a_{1,2}\\ 0& a_{1,1}{a}_{2,2}-a_{1,2}{a}_{2,1}\end{array}\right]$$

充要条件为: $a_{1,1}{a}_{2,2}-a_{1,2}{a}_{2,1}\ne 0$

如果 $a_{1,1}=0$ ，可以交换两行，得到 $a_{1,2}{a}_{2,1}\ne 0$

因此 $\det (A)=a_{1,1}{a}_{2,2}-a_{1,2}{a}_{2,1}$

$3\times 3$ 的矩阵请自行推导。

观察 $2\times 2$ 的矩阵，可以发现相当于

$a_{1,1}\left|\begin{array}{c}{a}_{2,2}\end{array}\right|-a_{1,2}|a_{2,1}|$

当然是

$a_{2,2}\left|\begin{array}{c}{a}_{1,1}\end{array}\right|-a_{2,1}\left|\begin{array}{c}{a}_{1,2}\end{array}\right|,a_{1,1}\left|\begin{array}{c}{a}_{2,2}\end{array}\right|-a_{1,2}\left|\begin{array}{c}{a}_{2,1}\end{array}\right|$

不妨定义矩阵 $M_{i,j}$ 表示 $A$ 删除 $i$ 行 $j$ 列后的矩阵

那么 $\det (A)=a_{1,1}\det (M_{1,1})-a_{1,2}\det (M_{1,2})=a_{2,2}\det (M_{1,1})-a_{2,1}\det (M_{1,2})$

定义 $a_{i,j}$ 的子式为 $\det (M_{i,j})$，余子式 $$A_{i,j}=(-1{)}^{i+j}\det (M_{i,j})$$

$n\times n$ 的矩阵$A$的行列式的递归定义为:

$\det (A)=\{\begin{array}{ll}{a}_{1,1}& (n=1)\\ a_{1,1}{A}_{1,1}+a_{1,2}{A}_{1,2}+\cdots +a_{1,n}{A}_{1,n}& n>1\end{array}$

上面展开成$n$项称为按第一行余子式展开.

实际上,$\det (A)$可以按任意行或列进行余子式展开.

例如,$$\det (A)=a_{1,j}{A}_{1,j}+a_{2,j}{A}_{2,j}+\cdots +a_{n,j}{A}_{n,j}$$为按第$j$列余子式展开.

简单性质:

• $\det (A^T)=\det (A)$

• 若 $A$ 有 一行或一列元素全为 $0$ ，则 $\det (A)=0$

• 若 $A$ 存在两行或两列相等，则 $\det (A)=0$

• $\det (AB)=\det (A)\ast \det (B)$.

---

$\det (A)$和初等行变换:

令 $A$ 为一 $n\times n$ 矩阵，若 $A_{j,k}$ 表示 $a_{j,k}$ 的余子式，其中 $k=1,\cdots ,n$，则

$$a_{i,1}{A}_{j,1}+a_{i,2}{A}_{j,2}+\cdots +a_{i,n}{A}_{j,n}=\{\begin{array}{ll}\det (A)& (i=j)\\ 0& (i\ne j)\end{array}$$

证明仅需要建立 $A^{\ast }$ 使得 $A$ 矩阵的 $j$ 行 等于 $i$ 行即可得证。

考虑经过一次初等行运算的 $A$

第一类:

$$\det (EA)=-\det (A)$$

特别地，对于 $\det (EI)=-det(I)=det(E)=-1$

第二类:

$$\det (EA)=c\det (A)$$

$c$ 为扩大的倍数。

证明显然，只需要沿着扩大倍数那一行或一列展开即可。

第三类:

$$\det (EA)=\det (A)$$

也是仅需要沿着得到加数那行展开即可。

因此可以得到:

$$\det (EA)=\det (E)\det (A)$$

其中

$$\det (A)=\{\begin{array}{ll}-1& (1)\\ c\ne 0& (2)\\ 1& (3)\end{array}$$

也有

$$\det (AE)=del((AE{)}^T)=\det (E^T{A}^T)=\det (E^T)\det (A^T)$$

因此对于初等行运算有

1. 交换矩阵的两行(或列)改变行列式的符号
2. 矩阵的某行或列乘以一个标量的作用是将行列式乘以这个标量
3. 将某行(或列)的倍数加到其他行(或列)上不改变行列式的值

从 $3$ 出发，我们可以得到一个推论: 如果一行(列)是另一行(列)的倍数，则矩阵的行列式为零。

伴随矩阵

定义伴随矩阵

$$\text{adj }A=\left[\begin{array}{cccc}{A}_{1,1}& A_{1,2}& \cdots & A_{1,n}\\ A_{1,2}& A_{2,2}& \cdots & A_{2,n}\\ ⋮& & & \\ A_{n,1}& A_{n,2}& \cdots & A_{n,n}\end{array}\right]$$

$\text{adj}A$可以看作余子式的转置.

容易看出:

$$a_{i,1}{A}_{j,1}+a_{i,2}{A}_{j,2}+\cdots +a_{i,n}{A}_{j,n}=\{\begin{array}{ll}\det (A)& (i=j)\\ 0& (i\ne j)\end{array}$$

则

$$A(\text{adj }A)=\det (A)I$$

若 $A$ 可逆，则

$$A(\frac{1}{\det (A)}\text{adj }A)=I$$

因此

$$A^{-1}=\frac{1}{\det (A)}\text{adj }A(\det (A)\ne 0)$$

特征值

我们设想一下这个问题:

给定 $A$ 为 $n\times n$ 的矩阵，$x$ 为 $n\times 1$ 的矩阵

若存在标量 $\lambda$，使得方程 $Ax=\lambda x$，则称 $\lambda$ 为特征值，称向量 $x$ 为属于 $\lambda$ 的特征向量。

方程 $Ax=\lambda x$ 可以改写为

$$(A-\lambda I)x=0(1)$$

因此 $\lambda$ 为 $A$ 的特征值的充要条件是 $(1)$ 有一非平凡解，$(1)$ 的解集为 $N(A-\lambda I)$，它是 $C^n$ 的一个子空间，

若 $\lambda$ 为 $A$ 的一个特征值，则 N ( A − λ I ) ≠ { 0 } N(A-\lambda I)\ne \{0\} N(A−λI)​={0} ，且 $N(A-\lambda )$ 中任意非零向量均为 $\lambda$ 的特征向量，这个子空间称为 $\lambda$ 的特征空间。

实际上，上面的条件可以等价于方程 $(1)$ 有非平凡解，其充要条件就是 $(A-\lambda I)x=0$ 为奇异的，等价于

$$\det (A-\lambda I)=0$$

如果把 $\det (A-\lambda I)$ 展开，可以得到一个变量为 $\lambda$ 的 $n$ 次多项式

$$p(\lambda )=\det (A-\lambda I)$$

这个多项式被称为 特征多项式，且方程 $\det (A-\lambda I)=0$ 被成为矩阵 $A$ 的特征方程，多项式的根即为 $A$ 的特征值。

如果对重根也计数，则特征多项式将恰有 $n$ 个根，因此 $A$ 将有 $n$ 个特征值，其中某些可能会重复，其中可能有些是复数。

请记住上述结论，这涉及到了重要性质的推导。

特征值的乘积与和

由于

$$p(\lambda )=\det (A-\lambda I)=\left|\begin{array}{cccc}{a}_{1,1}-\lambda & a_{1,2}& \cdots & a_{1,n}\\ a_{1,2}& a_{2,2}-\lambda & \cdots & a_{2,n}\\ ⋮& & & \\ a_{n,1}& a_{n,2}& \cdots & a_{n,n}-\lambda \end{array}\right|$$

按照第一列进行展开，我们得到

$$\det (A-\lambda I)=(a_{1,1}-\lambda )\det (M_{1,1})+\sum _{i=2}^n(-1{)}^{i+1}\det (M_{i,1})$$

对 $\det (M_{1,1})$ 以相同的方法展开，我们得到

$$\sum _{i=1}^n(a_{i,i}-\lambda )$$

这是 $\det (A-\lambda )$ 的展开式中唯一包含多于 $n-2$ 个对角元素的项。

当 $p(\lambda )$ 展开后，可以得到 ${\lambda }^n$ 的系数为 $(-1{)}^n$，由此可以得到 $p(\lambda )$ 的首系数为 $(-1{)}^n$，于是若建立关于 $A$ 的特征值 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$ 的多根方程，则

$$\begin{array}{rl}p(\lambda )& =(-1{)}^n(\lambda -{\lambda }_1)(\lambda -{\lambda }_2)\cdots (\lambda -{\lambda }_n)\\ & =({\lambda }_1-\lambda )({\lambda }_2-\lambda )\cdots ({\lambda }_n-\lambda )\end{array}$$

很容易得到特征值的乘积

$$p(0)={\lambda }_1{\lambda }_2\cdots {\lambda }_n=\det (A)$$

还可以注意到 $p(\lambda )$ 中 $(-\lambda {)}^{n-1}$ 的系数为 $\sum _{i=1}^n{a}_{i,i}$，同时由于多根方程中次项系数为 $\sum _{i=1}^n{\lambda }_i$，由此

$$\sum _{i=1}{\lambda }_i=\sum _{i=1}^n{a}_{i,i}$$

$A$ 的对角线元素的和为 $A$ 的迹，并记为 $\text{tr}(A)$.