线性代数(Linear Algebra)

线性代数(Linear Algebra)

MIT 线性代数 b站视频

MIT 线性代 github 笔记

常问问题

• 矩阵的秩是什么？
  • 如何理解矩阵的「秩」？ - 马同学的回答 - 知乎
  • 与向量空间的联系
• 特征值与特征向量？
  • 定义？
  • 本质？
  • 特征值和特征向量概述-面试必问3(含特征值、向量意义)_OrdinaryMatthew的博客-CSDN博客

行列式

行列式

余子式与代数余子式

在 $n$ 阶行列式中，把 $(i,j)$ 元 $a_{ij}$ 所在的第 $i$ 行和第 $j$ 列划去后，留下来的 $n-1$ 阶行列式叫做 $(i,j)$ 元 $a_{ij}$ 的余子式，记作 $M_{ij}$ ；记
$$A_{ij}=(-1{)}^{i+j}{M}_{ij}$$
$A_{ij}$ 叫做 $(i,j)$ 元 $a_{ij}$ 的代数余子式
$$M_{32}=\left|\begin{array}{ccc}{a}_{11}& a_{13}& a_{14}\\ a_{21}& a_{23}& a_{24}\\ a_{41}& a_{43}& a_{44}\end{array}\right|$$

$$A_{32}=(-1{)}^{3+2}{M}_{32}=-M_{32}$$

代数余子式的重要性质：
$$\sum _{k=1}^n{a}_{ki}{A}_{ki}=D$$

线性方程组和矩阵

线性方程组

n元非齐次线性方程组：方程的常数项不都为零

n元齐次线性方程组：方程常数项都为零

伴随矩阵

行列式 $|A|$ 的各个元素的代数余子式 $A_{ij}$ 所构成的如下的矩阵
$$A^{\ast }=\left[\begin{array}{cccc}{A}_{11}& A_{21}& ...& A_{n1}\\ A_{12}& A_{22}& ...& A_{n2}\\ ⋮& ⋮& & ⋮\\ A_{1n}& A_{2n}& ...& A_{nn}\end{array}\right]$$
称为矩阵 $A$ 的伴随矩阵
$$A{A}^{\ast }=A^{\ast }A=|A|E$$

逆矩阵

对于 $n$ 阶矩阵 $A$ ，如果有一个 $n$ 阶矩阵 $B$ ，使
$$AB=BA=E$$
则说矩阵 $A$ 是可逆的，并把矩阵 $B$ 称为 $A$ 的逆矩阵

定理1：若矩阵 $A$ 可逆，则 $|A|\ne 0$

定理2：若 $|A|\ne 0$ ，则矩阵 $A$ 可逆，且
$$A^{-1}=\frac{1}{|A|}{A}^{\ast }$$
其中 $A^{\ast }$ 为矩阵 $A$ 的伴随矩阵

奇异矩阵与非奇异矩阵

当 $|A|=0$ 时，A称为奇异矩阵，否则为非奇异矩阵

$A$ 是可逆矩阵的充分必要条件是 $|A|\ne 0$ ，即可逆矩阵就是非奇异矩阵

克拉默法则

如果线性方程组的系数矩阵 $A$ 的行列式不等于零，即 $|A|\ne 0$ ，那么方程组有唯一解
$$x_1=\frac{|A_1|}{|A|},x_2=\frac{|A_2|}{|A|},...,x_n=\frac{|A_n|}{|A|}$$
其中 $A_j(j=1，2，...，n)$ 是把系数矩阵 $A$ 中第 $j$ 列的元素用方程组右端的常数项代替后所得到的 $n$ 阶矩阵

矩阵初等变换与线性方程组

矩阵初等变换

• 对换两行（列）
• 以数 $k\ne 0$ 乘某一行（列）中的所有元
• 把某一行（列）所有元的 $k$ 倍加到另一行（列）对应的元上去

由单位矩阵 $E$ 经过一次初等变换得到的矩阵称为初等矩阵

矩阵的秩

设在矩阵 $A$ 中有一个不等于 0 的 $r$ 阶子式 $D$，且所有 $r+1$ 阶子式（如果存在的话）全等于0，那么 $D$ 称为矩阵 $A$ 的最高阶非零子式，数 $r$ 称为矩阵 $A$ 的秩，记作 $R(A)$ ；并规定零矩阵的秩等于0

可逆矩阵又称满秩矩阵，不可逆矩阵（奇异矩阵）又称降秩矩阵

线性方程组的解

系数矩阵 $A$ 和增广矩阵 $B=(A,b)$ ，对于 $n$ 元线性方程组 $Ax=b$

1. 无解的充分必要条件是 $R(A)<R(A,b)$
2. 有唯一解的充分必要条件是 $R(A)=R(A,b)=n$
3. 有无限多解的充分必要条件是 $R(A)=R(A,b)<n$

---

$n$ 元其次线性方程组 $Ax=0$ 有非零解的充分必要条件是 $R(A)<n$

矩阵方程 $AX=B$ 有解的充分必要条件是 $R(A)=R(A,B)$

向量组的线性相关性

给定向量组 $A:a_1,a_2,\dots ,a_m$ ，如果存在不全为零的数 $k_1,k_2,\dots ,k_m$，使
$$k_1{a}_1+k_2{a}_2+...+k_m{a}_m=0$$
则称向量组 $A$ 是线性相关的，否则称它线性无关

---

向量组 $A:a_1,a_2,\dots ,a_m$ 线性相关的充分必要条件是它所构成的矩阵 $A=(a_1，a_2，...，a_m)$ 的秩小于向量个数 $m$ ；向量组 $A$ 线性无关的充分必要条件是 $R(A)=m$

向量组的秩

设有向量组 $A$ ，如果在 $A$ 中能选出 $r$ 向量 $a_1，a_2，...，a_r$ ，满足

• 向量组 $A_0:a_1，a_2，...，a_r$ 线性无关
• 向量组 $A$ 中任意 $r+1$ 个向量（如果 $A$ 中有 $r+1$ 个向量的话）都线性相关

那么称向量组 $A_0$ 是向量组 $A$ 的一个最大线性无关向量组（简称量大无关组），最大无关组所含向量个数 $r$ 称为向量组 $A$ 的秩，记作 $R_A$

矩阵的秩等于它的列向量组的秩，也等于它的行向量组的秩

线性方程组的解的结构

如果能求得解集 $S$ 的一个最大无关组 $S_0：{\xi }_1，{\xi }_2，...，{\xi }_t$ ，那么方程 $Ax=0$ 的任一解都可由最大无关组 $S_0$ 线性表示；最大无关组 $S_0$ 的任何线性组合:
$$x=k_1{\xi }_1+k_2{\xi }_2+...+k_t{\xi }_t（k_1，k_2，...，k_t为任意实数）$$
都是 $Ax=0$ 的解，因此上式便是 $Ax=0$ 的通解

齐次线性方程组的解集的最大无关组称为该齐次线性方程组的基础解系

---

设 $m\times n$ 矩阵 $A$ 的秩 $R(A)=r$ ，则 $n$ 元齐次线性方程组 $Ax=0$ 的解集 $S$ 的秩 $R_S=n-r$

• 当 $R(A)=n$ 时，只有零解，没有基础解析
• 当 $R(A)=r<n$ 时，基础解系含 $n-r$ 个向量，任何 $n-r$ 个线性无关的解都可以构成方程的基础解系

---

如果求得方程 $Ax=b$ 的一个解 ${\eta }^{\ast }$（称为特解），那么 $Ax=b$ 的通解为
$$x=k_1{\xi }_1+k_2{\xi }_2+...+k_t{\xi }_t+{\eta }^{\ast }（k_1，k_2，...，k_t为任意实数）$$
其中 ${\xi }_1，{\xi }_2，...，{\xi }_t$ 是方程 $Ax=0$ 基础解系

向量空间

定义：设 $V$ 为 $n$ 维向量的集合，如果集合 $V$ 非空，且集合 $V$ 对于向量的加法及数乘两种运算封闭，那么就称集合 $V$ 为向量空间

相似矩阵及二次型

正交矩阵

$$A^{T}A=A{A}^T=E(即A^{-1}=A^T)$$

其中 $A$ 为正交矩阵

方阵 $A$ 为正交矩阵的充分必要条件是 $A$ 的列（行）向量都是单位向量，且两两正交

方阵的特征值与特征向量

设 $A$ 是 $n$ 阶矩阵，如果数 $\lambda$ 和 $n$ 维非零列向量 $x$ 使关系式
$$Ax=\lambda x$$
成立，那么，这样的数 $\lambda$ 称为矩阵 $A$ 的特征值，非零向量 $x$ 称为 $A$ 的对应于特征值 $\lambda$ 的特征向量

---

将公式（14）写成 $(A-\lambda E)x=0$ 的齐次线性方程组，那么他有非零解的充分必要条件是系数行列式
$$|A-\lambda E|=0$$
公式（15）为矩阵 $A$ 的特征方程，左端为 $\lambda$ 的 $n$ 次多项式，记作 $f(\lambda )$ ，称为矩阵 $A$ 的特征多项式。$A$ 的特征值就是特征方程的解。特征方程在复数范围内恒有解，其个数为方程的次数（重根按重数计算），因此，$n$ 阶矩阵 $A$ 在复数范围内有 $n$ 个特征值

性质：

• ${\lambda }_1+{\lambda }_2+...+{\lambda }_n=a_{11}+a_{22}+...+a_{nn}$

• ${\lambda }_1+{\lambda }_2...{\lambda }_n=|A|$

• 特征值不相等那么特征向量线性无关

相似矩阵

设 $A$ 、$B$ 都是 $n$ 阶矩阵，若有可逆矩阵 $P$ ，使
$$P^{-1}AP=B$$
则称 $B$ 是 $A$ 的相似矩阵，或者说矩阵 $A$ 与 $B$ 相似。对 $A$ 进行的运算称为对 $A$ 进行相似变换

若 $n$ 阶矩阵 $A$ 与 $B$ 相似，则 $A$ 与 $B$ 的特征多项式相同，从而 $A$ 与 $B$ 的特征值亦相同

---

对 $n$ 阶矩阵 $A$ ，寻求相似变换矩阵 $P$ ，使 $P^{-1}AP=\Lambda$ 为对角矩阵，这就称为把矩阵 $A$ 对角化

• $n$ 阶矩阵 $A$ 与对角矩阵相似（即 $A$ 能对角化）的充分必要条件是 $A$ 有 $n$ 个线性无关的特征向量
• 如果 $n$ 阶矩阵 $A$ 的 $n$ 个特征值互不相等，则 $A$ 与对角矩阵相似

对称矩阵

• 对称矩阵 $A$ 的特征值为实数
• 设 ${\lambda }_1,{\lambda }_2$ 是对称矩阵 $A$ 的两个特征值，$p_1,p_2$ 是对应的特征向量。若 ${\lambda }_1\ne {\lambda }_2$ ，则 $p_1$ 与 $p_2$ 正交
• 必有正交矩阵 $P$ ，使 $P^{-1}AP=PA{P}^{-1}=\Lambda$

实二次型

含有 $n$ 个变量 $x_1,x_2,\dots ,x_n$ 的二次齐次函数
$$f(x_1,x_2,...x_n)=a_{11}{x}_1^2+a_{22}{x}_2^2+...a_{nn}{x}_n^2+2a_{12}{x}_1{x}_2+2a_{13}{x}_1{x}_3+...+2a_{n-1,n}{x}_{n-1}{x}_n$$
称为二次型

• 只含平方项的二次型，称为二次型的标准形

• 系数只在 1，-1，0 三个数中取值，称为二次型的规范形

• 当 $a_{ij}$ 为复数时，$f$ 称为复二次型；当 $a_{ij}$ 为实数时，$f$ 称为实二次型

---

利用矩阵二次型可以表示为：
$$f=\left[\begin{array}{c}{x}_1,x_2,...,x_n\end{array}\right]\left[\begin{array}{ccccc}{a}_{11}& a_{12}& ...& a_{1n}& \\ a_{11}& a_{12}& ...& a_{1n}& \\ ⋮& ⋮& & ⋮& \\ a_{11}& a_{12}& ...& a_{1n}& \end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$$
记作：
$$f=x^{T}Ax$$
其中 $A$ 为对称矩阵

二次型 $f=x^2-3z^2-4xy+yz$ 用矩阵表示就是
$$f=\left[\begin{array}{c}x,y,z\end{array}\right]\left[\begin{array}{ccc}1& -2& 0\\ -2& 0& 1/2\\ 0& 1/2& -3\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$$

未完待续