矩阵分解与应用(张贤达)day1

别偷我的猪_09

已于 2022-07-12 17:08:37 修改

阅读量978

点赞数

文章标签：矩阵线性代数

于 2022-07-02 21:33:31 首次发布

本文链接：https://blog.csdn.net/qq_44950283/article/details/125561326

版权

一、矩阵的基本运算

1、矩阵与向量

1.1、矩阵

由m $\times$ n个数 $a_{ij}$ （ $i$ = 1, 2 $\begin{matrix} & \end{matrix}$ , $\cdot \cdot \cdot$ , m; $j$ = 1, 2, $\cdot \cdot \cdot$ , n）排列成的m行n列的数表

$\begin{bmatrix} a_{11} & a_{12}&... & a_{1n}\\ a_{21} & a_{22}&... &a_{2n} \\ ... & ...& ...&... \\ a_{m1} & a_{m1}& ...& a_{mn} \end{bmatrix}$

称为m $\times$ n矩阵，记为A = $(a_{ij})_{m\times n}$ ，其中 $a_{ij}$ 称为矩阵A的第 $i$ 行第 $j$ 列的元素。

1.2、向量

行向量。在线性代数中，行向量是一个 1×m 的矩阵。

$a = \begin{pmatrix} {a_{1}},&{a_{2}},&{a_{3}},& {a_{4}} \end{pmatrix}$

列向量。在线性代数中，列向量是一个 n×1 的矩阵。

$b = \begin{pmatrix} b_{1}\\ b_{2}\\ b_{3}\\ b_{4} \end{pmatrix}$

2、矩阵的基本运算

2.1、基本矩阵

主对角线：在一个n $\times$ n的正方矩阵A上，主对角线指从矩阵左上角到右下角沿 $i = j$ ， $j = 1, 2, ...,$ n想连接的线段。

交叉对角线：也称次对角线。从矩阵A右上角到左下角相连接的线段。次对角线垂直主对角线。

对角矩阵：主对角线以外的元素全部为零的n $\times$ n矩阵，记为

$D = diag({d_{11}}, {d_{22}}, ..., {d_{nn}})$

单位矩阵：对角矩阵的主对角线元素全为1，记为

${I_{n\times n}}$

零矩阵：矩阵中的元素都为零，则被称为零矩阵，记为

$^{O_{m\times n}}$

冥等矩阵：矩阵 $A_{n\times n}$ ，若 $A^{2} = AA = A$ ，则 $A_{n\times n}$ 为冥等矩阵

对合矩阵：矩阵 $A_{n\times n}$ ，若 $A^{2} = AA = I$ ，则 $A_{n\times n}$ 为对合矩阵

基本向量：只有一个元素为1，其于元素全为0的列向量被称为基本向量。如下

$e = \begin{pmatrix} 1\\ 0\\ 0\\ 0 \end{pmatrix}$

矩阵的内积：矩阵 $A$ 与矩阵B的内积记作 $<A, B >$ ，定义为

$< A, B> = A^{H} B$

矩阵的指数：矩阵A的指数记为 $\exp (A)$ 或者 $e^{A}$ ，定义为

$\exp (A) = \sum_{k=0}^{\infty }\frac{1}{k!}A^{k}$

矩阵的对数：矩阵A的对数记为 $\log ({I_{n}} - A)$ ，定义为

$\log (I_{n} - A) = -\sum_{k=0}^{\infty }\frac{1}{k!}A^{k}$

矩阵的导数：如果矩阵A的元素 $a_{ij}$ 都是参数t的函数，则矩阵的导数定义为

$\frac{dA}{dt} = A = \begin{bmatrix} \frac{da_{11}}{dt} & \frac{da_{12}}{dt}& ...& \frac{da_{1n}}{dt}\\ \frac{da_{21}}{dt}& \frac{da_{22}}{dt}& ...& \frac{da_{2n}}{dt}\\ ...& ...& & ...\\ \frac{da_{m1}}{dt}& \frac{da_{m2}}{dt}& ...& \frac{da_{mn}}{dt} \end{bmatrix}$

2.2、基本运算

矩阵加法：两个m $\times$ n的矩阵 $A=[a_{ij}]$ 与 $B=[b_{ij}]$ 的和记为 $A+B$ 。定义为： $[A+B]_{ij}=a_{ij}+b_{ij}$

矩阵与标量相乘： $A=[a_{ij}]$ 是一个m $\times$ n的矩阵， $\alpha$ 为标量。乘积 $aA$ 定义为： $[\alpha A]_{ij}=\alpha a_{ij}$

加法交换律： $A+B =B+A$

加法结合律： $(A+B)+C=A+(B+C)$

乘法结合律：若A为m $\times$ n的矩阵，B为n $\times$ p的矩阵，C为p $\times$ q的矩阵，则有 $A(BC)=(AB)C$

乘法左分配率：若A和B均为m $\times$ n的矩阵，C为n $\times$ p的矩阵，则有 $(A+B)C=AC+BC$

乘法右分配律：若A为m $\times$ n的矩阵，B和C均为n $\times$ p的矩阵，则有 $A(B+C)=AB +AC$

$(A+B)^{*}=A^{*}+B^{*}$

$(A+B)^{T}=A^{T}+B^{T}$

$(A+B)^{H}=A^{H}+B^{H}$ 。（注： $A^{H}$ 为共轭转置矩阵，又称为Hermitian伴随）

$(AB)^{T}=B^{T}A^{T}$

$(AB)^{H}=B^{H}A^{H}$

$(AB)^{-1}=B^{-1}A^{-1}$

$(A^{*})^{-1}=(A^{-1})^{*}$

$(A^{T})^{-1}=(A^{-1})^{T}$

$(A^{H})^{-1}=(A^{-1})^{H}$

2.3、向量的线性相关性与非奇异矩阵

向量的线性表示：给定向量组 $A = (a_{1}, a_{2},a_{3}, ... a_{n})$ 以及向量 $b$ ，若存在一组数 $k_{1}, k_{2}, ..., k_{n}$ ，使得

$b = k_{1}a_{1}+k_{2}a_{2}+ .. +k_{n}a_{n}$

则称向量 $b$ 可由向量组 A 线性表示，也称向量 $b$ 是向量组A 的一个线性组合， $k_{1}, k_{2}, ..., k_{n}$ 称为这个线性组合的系数。

线性相关：如果 $k_{1}, k_{2}, ..., k_{n}$ 不全为0，使得 $k_{1}a_{1}+k_{2}a_{2}+ .. +k_{n}a_{n} = 0$ ，则向量组A是线性相关。 $r_{1}, r_{2}, ..., r_{m}$

线性无关关：如果 $k_{1}, k_{2}, ..., k_{n}$ 全为0，使得 $k_{1}a_{1}+k_{2}a_{2}+ .. +k_{n}a_{n} = 0$ ，则向量组A为线性无关。

非奇异矩阵：一个n $\times$ n矩阵A是非奇异，当且仅当矩阵方程 $Ax = 0$ 只有零解x=0。若A不是奇异的，则称A奇异。

定理：n $\times$ n矩阵 $A = \begin{bmatrix} a_{1} & a_{2}& ... & a_{n} \end{bmatrix}$ 是非奇异的，当且仅当它的n个列向量 $a_{1}, a_{2}, ..., a_{n}$ 线性无关。

2.4、初等行变换与阶梯型矩阵

初等运算：涉及矩阵行与行之间的简单运算。

初等运算：也称初等行变换。矩阵 $A _{m\times n}$ 的行向量分别为 $r_{1}, r_{2}, ...r_{m}$ 。

(1) 互换矩阵的任意两行，如 $r_{p\rightarrow }r_{q}$ ，称为 $I$ 型初等行变换。

(2) 一行元素同乘一个非零常数 $a$ ，如 $ar_{p}\rightarrow r_{q}$ ，称为 $\mathbb{I}$ 型初等行变换。

(3) 将第p行元素同乘一个非零常数 $\beta$ 后，加给第q行，即 $\beta r_{p} + r_{q} \rightarrow r_{q}$ ，称为型初等行变换。

矩阵等价：矩阵 $A_{m\times n}$ 经过一系列初等行运算，变换成矩阵 $B_{m\times n}$ ，则矩阵A和矩阵B等价。

阶梯型矩阵：矩阵 $A_{m\times n}$ ，若

(1) 全部由零组成的所有行都位于矩阵的底部。

(2) 每一个非零行的首项元素总是出现在上一个非零行的首项元素的右边。

(3) 首项元素下面的同列元素全部为零。

列如：如下阶梯矩阵

$A = \begin{bmatrix} 1 & * & *\\ 0& 3& *\\ 0& 0 & 0\\ 0& 0& 0 \end{bmatrix}$

简约阶梯型：若每一非零行的首项元素等于1(即为首一元素)，并且每一个首一元素也是它所在列唯一的非零元素。

例如：如下简约阶梯型

$A = \begin{bmatrix} 1& -2& 0& -1& 3\\ 0& 0& 5& 10& 8\\ 0& 0& 0& 0& 0 \end{bmatrix}$

2.5、基于初等行变换的矩阵方程求解

下面讨论如何利用初等行变换，对矩阵方程求解。

对一个n $\times$ n矩阵方程 $Ax = b$ ，其增广矩阵 $B = [A, b]$ 为n $\times$ (n + 1)。若对增广矩阵B使用初等行变换，使得最左边变成一个n $\times$ n单位矩阵，则变换后的增广矩阵的第n+1列即给出原矩阵方程 $Ax = b$ 的解 $x$ 。这种方程称为高斯消去法或Gauss-Jordan消去法。

例：用高斯消去法求解下列线性方程组

$\left\{\begin{matrix} x_{1}+x_{2}+2x_{3}=6\\ 3x_{1}+4x_{2}-x_{3}=5\\ -x_{1}+x_{2}+x_{3}=6 \end{matrix}\right.$

首先写出方程组的增广矩阵

$B = \begin{bmatrix} 1& 1& 2& 6\\ 3& 4& -1& 5\\ -1& 1& 1& 2 \end{bmatrix}$

第2行减去第1行的3倍，得

$\begin{bmatrix} 1 & 1& 2 &6 \\ 0 & 1& -7& -13\\ -1& 1 & 1& 2 \end{bmatrix}$

第1行加到第3行，得

$\begin{bmatrix} 1& 1 & 2 &6 \\ 0& 1&-7 &-13 \\ 0& 2& 3& 8 \end{bmatrix}$

第1行减去第2行，得

di $\begin{bmatrix} 1 & 0& 9& 19\\ 0& 1& -7& -13\\ 0& 2& 3& 8 \end{bmatrix}$

第3行减去第2行得2倍，得

$\begin{bmatrix} 1& 0& 9& 19\\ 0& 1& -7& -13\\ 0& 0& 17& 34 \end{bmatrix}$

第3行乘以1/17，得

$\begin{bmatrix} 1 & 0 & 9&19 \\ 0& 1& -7& -13\\ 0& 0& 1& 2 \end{bmatrix}$

第1行减去第3行的9倍，得

$\begin{bmatrix} 1 & 0& 0& 1\\ 0& 1& -7& -13\\ 0 & 0& 1& 2 \end{bmatrix}$

第3行乘以7后，再加到第2行，得

$\begin{bmatrix} 1& 0& 0& 1\\ 0& 1& 0& 1\\ 0& 0& 1& 2 \end{bmatrix}$

最后，通过高斯消去法得到方程组得解为 $x_{1} = 1, x_{2} = 1, x_{3} = 2$ 。

对于m $\times$ n的矩阵方程 $Ax = b$ 用初等行变换进行求解。步骤如下：

1、构造增广矩阵 $B = \begin{bmatrix} A ,& b \end{bmatrix}$ 。

2、使用高斯消去法将增广矩阵B简化成阶梯型矩阵，它与原增广矩阵等价。

3、从简化的矩阵得到对应的线性方程组，它与原线性方程组等价。

4、得到新的线性方程组的通解。

例：求解下列线性方程组

$\left\{\begin{matrix} 2x_{1}+2x_{2}-x_{3} = 1\\ -2x_{1}-2x_{2}+4x_{3} = 1\\ 2x_{1}+2x_{2}+5x_{3} = 5\\ -2x_{1}-2x_{2}-2x_{3} = -3 \end{matrix}\right.$

增广矩阵为

$B = \begin{bmatrix} 2 & 2 & -1 & 1\\ -2 & -2& 4 & 1\\ 2 & 2& 5& 5\\ -2 & -2& -2 & -3 \end{bmatrix}$

第1行元素乘以1/2，使第1个元素为1：

$\begin{bmatrix} 1 & 1& -\frac{1}{2} & \frac{1}{2}\\ -2& -2& 4 &1 \\ 2& 2 & 5&5 \\ -2& -2& -2& -3 \end{bmatrix}$

使用初等行变换，使第2~4行的第1个元素都变成0：

$\begin{bmatrix} 1 & 1& -\frac{1}{2}& \frac{1}{2}\\ 0& 0& 3 & 2\\ 0& 0 & 6&4 \\ 0& 0& -3& -2 \end{bmatrix}$

第2行元素乘以1/3，使得其第3列元素等于1，得：

$\begin{bmatrix} 1 & 1& -\frac{1}{2} & \frac{1}{2}\\ 0 & 0& 1 & \frac{2}{3}\\ 0& 0& 6 &4 \\ 0 & 0& -3 & -2 \end{bmatrix}$

利用初等行变换，使第2行首项元素1的上班和下边元素全部变为0，得：

$\begin{bmatrix} 1 & 1 &0 & \frac{5}{6}\\ 0& 0& 1&\frac{2}{3} \\ 0& 0 & 0 &0 \\ 0 & 0 & 0 & 0 \end{bmatrix}$

对应得线性方程组为

$x_{1} + x_{2} = \frac{5}{6}$

$x_{3} = \frac{2}{3}$

该方程组有无穷多组解，其通解为 $x_{1} = \frac{5}{6} - x_{2}, x_{3} = \frac{2}{3}$ 。若 $x_{2} = 1$ ，则一特解为 $x_{1} = -\frac{1}{6}, x_{2} = 1$ 和 $x_{3} = -\frac{2}{3}$ 。

如果线性方程组的右边全部等于零，即

$\left.\begin{matrix} a_{11}x_{1} + a_{12}x_{2} + ... + a_{1n}x_{n} = 0\\ a_{21}x_{1} + a_{22}x_{2} + ... + a_{2n}x_{n} = 0\\ ...\\ a_{m1}x_{1} + a_{m1}x_{2} + ... + a_{mn}x_{n} = 0 \end{matrix}\right\}$

则称之为齐次线性方程组。

显然， $x = [0, 0, ..., 0]^{T}$ 是任何齐次线性方程组的一个解。这种全零的解称为平凡解。平凡解意以外的任何其它解称为非平凡解。

齐次线性方程组一定有解，因为它至少有一个平凡解。齐次线性方程组的解只有两种可能：(1)只有唯一的平凡解；(2)除了平凡解外，还有无穷多个非平凡解。

3、向量空间、内积空间与线性映射

3.1、集合的基本概念

集合：某些元素的集体表示。集合通常用花括号表示为 $S = \begin{Bmatrix} \cdot \end{Bmatrix}$ ，花括号内为集合S的元素。如果集合的元素只有几个，通常便在花括号内罗列出所有的元素，例如 $S = \begin{Bmatrix} a, b, c, d \end{Bmatrix}$ 。若S是满足某种性质 $p(x)$ 的元素 $x$ 的集合，则记为 $S = \begin{Bmatrix} x : p(x) \end{Bmatrix}$ 。

集合运算相关的几个数学符号：

$\forall$ ：表示"对所有..."；

$x \in A$ ：读作" $x$ 属于集合A:"，即 $x$ 是集合A的一个元素；

$x \notin A$ ：表示 $x$ 不是集合A的元素；

$\ni$ ：代表"使得"；

$\exists$ ：代表"存在"；

$A \Rightarrow B$ 表示"若条件A，则有结果B"或"A意味着B"。

$\varnothing$ ：空集。集合中没有任何元素。

集合的基本运算：

$A \subseteq B$ ：A是B的一个子集。 $x \in A \Rightarrow x \in B$

$A \subset B$ ：A是B的一个真子集。

$A = B$ ：A等于B。 $x \in A \Leftrightarrow x \in B$

$A \cup B$ ：A和B的并集。 $X = A\cup B =$ { $x\in X: x \in A$ 或 $x \in B$ }

$A \cap B$ ：A和B的交集。 $X = A \cap B =$ { $x \in X: x \in A$ 和 $x \in B$ }

$Z = A + B$ ：表示集合A和集合B的和集。 $Z = A + B =$ { $z = x + y \in Z: x \in A, x \in B$ }

$Z = A - B$ ：集合差，也称差集。 $Z = A - B =$ { $x \in X: x\in A,$ 但 $x \notin B$ }。差集也可用 $X = A \setminus B$ 表示。

补集：子集合A再集合X中的补集定义为 $A^{c} = X - A =$ { $x \in X: x \notin A$ }。

X和Y为集合，且 $x \in X$ 和 $y \in Y$ ，则所有有序对( $x, y$ )的集合记为 $X \times Y$ ，称为集合X和Y的笛卡儿积，即 $y + 0 = y$

$X \times Y =$ { $(x, y): x \in X, y \in Y$ ${}$ }

类似地， $X_{1} \times X_{2} \times \cdot \cdot \cdot \times X_{n}$ 表示n个集合 $X_{1}, X_{2}, \cdot \cdot \cdot , X_{n}$ 的笛卡儿积，其元素为有序n元组 $(x_{1}, x_{2}, \cdot \cdot \cdot , x_{n})$ 。

3.2、向量空间

定义：以向量为元素的集合 $V$ 称为向量空间，若加法运算定义为两个向量之间的加法，乘法运算定义为向量与标量域 $S$ 中的标量之间的乘法，并且对于向量集合 $V$ 中的向量 $x, y, z$ 和标量域 $S$ 中的标量 $a_{1}, a_{2}$ ，以下两个闭合性和关于加法及乘法的八个公理满足：