[备忘录]线性代数之Matrices and Systems of Equations(下)-CSDN博客

本文链接：https://blog.csdn.net/z873660050/article/details/147871871

『重读以备忘，键录以备远』 共勉！

1.4 Matrix Algebra矩阵代数

矩阵的转置

定理1.4.1 一个 $n \times n$ 矩阵 $A$ ，

1. 若满足 $A^T=A$ , 则称 $A$ 是对称的(symmetric)。

2. 若满足 $A^T=-A$ ，则称 $A$ 是反对称的(skew symmetric)。

注:若 $n \times n$ 矩阵 $A$ 为反对称的，则 $A$ 矩阵必为奇异的。

定理1.4.2 给定任意一个矩阵 $A$ ，且 $AA^T$ 和 $AA^T$ 是对称的。

若 $A$ 为方阵，则 $A+A^T$ 矩阵是对称的。
若 $A$ 为方阵，则 $A-A^T$ 矩阵式非对称的。

[知识拓展]The Matrix Transpose

矩阵运算法则：

$1.A+B=B+A$	$6.(\alpha \beta )A= \alpha( \beta A)$
$2.(A+B)+C=A+(B+C)$	$7.\alpha (AB)=(\alpha A)B=A(\alpha B)$
$3.(AB)C=A(BC)$	$8.(\alpha +\beta )A= \alpha A +\beta A$
$4.A(B+C)=AB+AC$	$9.\alpha (A+B)=\alpha A+ \alpha B$
$5.(A+B)C=AC+BC$

矩阵的逆

定义若存在一个矩阵 $B$ 使得 $AB=BA=I$ ,则称 $n \times n$ 矩阵 $A$ 为非奇异的(nonsigular),或可逆的(invertible),矩阵 $B$ 成为 $A$ 的乘法逆元(multiplicative inverse)，简称为逆元(inverse),记为 $A^{-1}$ 。

一个矩阵仅有一个乘法逆元，若 $B$ 和 $C$ ，则

$B=BI=B(AC)=(BA)C=IC=C$

注：逆元分类，加法逆元(additive inverse)、乘法逆元。

1.若一个数加另一个数之和为 $0$ ，则称两个数互逆，其中一个数称为另一个数的加法逆元。

2.若一个数乘另一个数之积为 $1$ ，则称两个数互逆，其中一个数称为另一个数的乘法逆元

[知识拓展]Additive Inverse and Multiplicative Inverse

定义若一个 $n \times n$ 矩阵不存在乘法逆元，则称矩阵为奇异的(singular)

定理1.4.3 若 $A$ 和 $B$ 为非奇异的 $n \times n$ 矩阵，则 $AB$ 也为非奇异的，且 $(AB)^{-1}=B^{-1}A^-1{}$

矩阵转置的运算法则：

$1.(A\pm B)^T=A^T\pm B^T$

$2.(\alpha A)^T=\alpha A^T$

$3.(AB)^T=B^TA^T$

$4.(A^{-1})^T=(A^T)^{-1}$

$5.(A^T)^T = A$

定理1.4.4 若 $A$ 是可逆的，且标量 $\alpha !=0$ ，则 $\alpha A$ 是可逆的， $(\alpha A)^{-1}= \frac{1}{\alpha }A^{-1}$

1.5 Elementary Matrices 初等矩阵

如果从单位矩阵 $I$ 开始，只进行一次初等行运算，得到的矩阵称为初等矩阵(elementary matrix)。初等矩阵类型有三：

类型Ⅰ、第一类型初等矩阵，通过交换矩阵 $I$ 的任意两行实现构建。

类型Ⅱ、第二类型初等矩阵，通过矩阵 $I$ 的某一行乘以一个非零实数实现构建。

类型Ⅲ、第三类型初等矩阵，通过将矩阵 $I$ 某一行的倍数加到另一行来构建。

• $n\times n$ 初等矩阵左乘一个 $n\times r$ 矩阵 $A$ ，就是对 $A$ 进行 行运算。

• $n\times n$ 初等矩阵右乘一个 $m\times n$ 矩阵 $B$ ，就是对 $B$ 进行 列运算。

定理若 $E$ 为一个初等矩阵，则 $E$ 是非奇异的，且 $E^{-1}$ 为与 $E$ 同类型的初等矩阵。

$\square$ 若 $E$ 为类型Ⅰ，则 $E$ 的逆 $E^{-1}$ 还是 $E$ 。

$\square$ 若 $E$ 为类型Ⅱ，由某一行乘以非零数 $\alpha$ 而得，则 $E$ 的逆 $E^{-1}$ 为该行乘以 $\frac{1}{\alpha }$ 而得。

$\square$ 若 $E$ 为类型Ⅲ，由第 $i$ 行的 $m$ 倍加到第 $j$ 行而得，则 $E$ 的逆 $E^{-1}$ 可由将第 $j$ 行减去第 $i$ 行的 $m$ 倍而得。

定义若存在一个有限初等矩阵的序列 $E_1,E_2,...,E_k$ ,使得

$B=E_kE_{k-1}...E_1A$

则称 $A$ 和 $B$ 是行等价的(row equivalent)

定理令 $A$ 为 $n\times n$ 矩阵，则下列命题是等价的：

（a） $A$ 是非奇异的.

（b） $Ax=0$ 仅有平凡解 $0$

（c） $A$ 与 $I$ 行等价。

若 $A$ 是非奇异的，由上面定理可知 $A$ 与 $I$ 行等价,则必有 $E_1,E_2,...,E_k$ ，使得

$E_k...E_2E_1A=I$

等式两边右乘 $A^{-1}$ ,得到：

$E_k...E_2E_1I=A^{-1}$

由上式可知，一个非奇异矩阵 $A$ 经过初等行变换转换成 $I$ ， $I$ 将转换成 $A^{-1}$ 。

因此，将 $A$ 和 $I$ 组成增广矩阵 $\begin{bmatrix}\left.\begin{matrix} A \end{matrix}\right|I \end{bmatrix}$ ,通过初等变换化为最简式 $\begin{bmatrix}\left.\begin{matrix} I \end{matrix}\right|A^{-1} \end{bmatrix}$ ,可以求解一个非奇异矩阵 $A$ 的逆矩阵 $A^{-1}$ 。

推论当且仅当 $A$ 是非奇异时， $n\times n$ 线性方程组 $Ax=b$ 有唯一解。

一个 $n\times n$ 的矩阵 $A$ ，

(1) 当 $i\neq j$ 时， $a_{ij}=0$ , 则称 $A$ 为对角的(diagonal matrix).

(2) 当 $i>j$ 时， $a_{ij}=0$ ，则称 $A$ 为上三角形的(upper triangular)

(3) 当 $i<j$ 时， $a_{ij}=0$ ，则称 $A$ 为下三角形的(lower trianguler)

三角形分解

如果一个 $n\times n$ 矩阵 $A$ 可以仅通过行运算Ⅲ(将某一行替换为它和其他行的倍数的和)，化简为严格上三角形的，则可将化简过程用矩阵分解表示。

例如：令

$A=\begin{bmatrix} 2 & 4 &2 \\ 1& 5 & 2\\ 4& -1& 9 \end{bmatrix}$

仅利用行运算Ⅲ，进行化简。先将第二行减去第一行的 $\frac{1}{2}$ 倍，然后将第三行减去第一行的2倍，

$\begin{bmatrix} 2 & 4 &2 \\ 1& 5 & 2\\ 4& -1& 9 \end{bmatrix}$ $\rightarrow \begin{bmatrix} 2 & 4 &2 \\ 0& 3 & 1\\ 0& -9& 5 \end{bmatrix}$

为明确减去第一行的倍数，令 $l_{21}=\frac{1}{2},l_{31}=2$ ,然后将第三行减去第二行的 $-3$ 倍。

$\begin{bmatrix} 2 & 4 &2 \\ 0& 3 & 1\\ 0& -9& 5 \end{bmatrix} \rightarrow \begin{bmatrix} 2 & 4 &2 \\ 0& 3 & 1\\ 0& 0& 8 \end{bmatrix}$

令 $l_{32}=-3$ ，如果称结果矩阵为 $U$ ，并令

$L=\begin{bmatrix} 1 & 0&0 \\ l_{21}& 1 & 0\\ l_{31}&l_{32} & 1 \end{bmatrix} \: \: \: \: U= \begin{bmatrix} 2 & 4 &2 \\ 0& 3 & 1\\ 0& 0& 8 \end{bmatrix}$

则有，

$LU=\begin{bmatrix} 1 & 0&0 \\\frac{1}{2}& 1 & 0\\ 2&-3 & 1 \end{bmatrix} \begin{bmatrix} 2 & 4 &2 \\ 0& 3 & 1\\ 0& 0& 8 \end{bmatrix}=\begin{bmatrix} 2 & 4 &2 \\ 1& 5 & 2\\ 4& -1& 9 \end{bmatrix}=A$

其中， $L$ ( lower缩写 )为对角元素全为 $1$ 的下三角形矩阵，称为单位下三角形矩阵(unit lower triangular). $U$ (upper 缩写)为对角元素全为非零的上三角形矩阵，称为严格上三角形矩阵。

将一个矩阵 $A$ 分解为一个单位下三角形矩阵和一个严格上三角形矩阵的乘积的过程。通常称为 $LU$ 分解( $LU$ factorization),

其中， $L=(E_n...E_2E_1)^{-1}=E_1^{-1}E_2^{-1}...E_n^{-1}\, \, \, \,\, \,U=E_n...E_2E_1A$

1.5 Partitioned Matrices 分块矩阵

矩阵分块是矩阵乘法基础。矩阵分块，然后进行相应运算，例如：

$B=\begin{bmatrix} 2& 1 & 2\\ -1 & 3&1 \\ 3 & 1& 5 \end{bmatrix}$

可将矩阵按列划分成列矩阵：

$B=(b_1,b_2,b_3)$

也可以将矩阵按行划分成行矩阵：

$B=\begin{bmatrix} \vec{b_1}\\ \vec{b_2}\\ \vec{b_3} \end{bmatrix}$

外积展开

两个矩阵相乘，可以将两个矩阵按行分块，或者按列分块，然后计算。不同的分块方式有不同的结果。

给定Euclidean n-space, $\mathbb{R}^n$ 中的两个向量 $x$ 和 $y$ ，

$\blacksquare$ 矩阵乘积 $x^Ty$ 为一个前行向量和后列向量的乘积，结果为 $1\times 1$ 的矩阵，或称为标量。这样的乘积称为 标量积(scalar product)或者内积(inner product).

$\blacksquare$ 矩阵乘积 $xy^T$ 为一个前列向量和后行向量的乘积，结果为 $n \times n$ 的矩阵，这样的乘积称为外积(outer product)。结果矩阵中，每一行均为 $y^T$ 的倍数，每一列均为 $x$ 的倍数（扩展到矩阵相乘时之这个知识点很重要）。

将外积的概念从向量扩展到矩阵。假设从一个 $m \times n$ 的矩阵 $X$ 和一个 $k \times n$ 的矩阵 $Y$ 开始。

计算矩阵乘积 $XY^T$ ,假设将 $X$ 按列划分， $Y^T$ 按行划分。然后进行分块矩阵乘法。乘积 $XY^T$ 可以表示为向量的外积之和。

$XY^T=(x_1,x_2,...,x_n)\begin{bmatrix} y^T_1\\ y^T_2\\ ...\\ y^T_n \end{bmatrix}=x_1y^T_1+x_2y^T_2+...+x_ny^T_n$

这个表达式称为外积展开式(outer product expansion).在图像处理应用中很重要。

例如：

$A=\begin{bmatrix} -1 &3 \\ 2& 1\\ 1& 1 \end{bmatrix}\: \: \: \: \: B=\begin{bmatrix} 2& -1 \\ 1& 2 \\ 3&1 \end{bmatrix}$

计算 $A^TB$ ,和 $AB^T$ .

1.将 $A^{T}$ 按列、 $B$ 按行分块：

$A^{T}B=\begin{bmatrix} -1&2&1\\3&1&1\end{bmatrix}\begin{bmatrix} 2&-1\\1&2\\3&1\end{bmatrix}=\begin{bmatrix} -1\\ 3 \end{bmatrix}\begin{bmatrix} 2 & -1 \end{bmatrix}+\begin{bmatrix} 2\\ 1 \end{bmatrix}\begin{bmatrix} 1 & 2 \end{bmatrix}+\begin{bmatrix} 1\\ 1 \end{bmatrix}\begin{bmatrix} 3 & 1 \end{bmatrix}$

$=\begin{bmatrix} -1\\ 3 \end{bmatrix}\begin{bmatrix} 2 & -1 \end{bmatrix}+\begin{bmatrix} 2\\ 1 \end{bmatrix}\begin{bmatrix} 1 & 2 \end{bmatrix}+\begin{bmatrix} 1\\ 1 \end{bmatrix}\begin{bmatrix} 3 & 1 \end{bmatrix}$ $=\begin{bmatrix} 3 &6 \\ 10 & 0 \end{bmatrix}$

2.将 $A$ 按列， $B^{T}$ 按行分块：

$AB^{T}=\begin{bmatrix} -1 &3 \\ 2&1 \\ 1&1\end{bmatrix}\begin{bmatrix} 2 & 1&3\\ -1&2 &1\end{bmatrix} =\begin{bmatrix} -1\\ 2\\ 1 \end{bmatrix}\begin{bmatrix} 2 & 1 & 3 \end{bmatrix}+\begin{bmatrix} 3\\ 1\\ 1 \end{bmatrix}\begin{bmatrix} -1 & 2 & 1 \end{bmatrix}$

$=\begin{bmatrix} -2&-1&-3 \\4&2&6\\ 2&1&3 \end{bmatrix}+\begin{bmatrix}-3&6&3\\-1&2&1\\-1&2&1 \end{bmatrix}=\begin{bmatrix}-5&5&0\\-3&4&7\\1&3&4 \end{bmatrix}$