线性代数行列式知识

最近入坑机器学习，线性代数的知识用到很多，所以就回顾了一下，发现也是挺有意思的。
行列式对于方阵给出一个特殊的定义值，与方阵的秩和方阵对应的齐次线性方程有没有唯一非零解有着很大的关系。

定义

当$n\ge 2$时，$n\times n$矩阵$A=\left[\begin{array}{c}{a}_{ij}\end{array}\right]$的行列式是形如$\pm a_{ij}det{A}_{ij}$的n个项的和，其中加减号交替出现，这里的$a_{11},a_{12},a_{13}...a_{1n}$来自于第一行，即
$$\begin{array}{rl}detA& =a_{11}\cdot det{A}_{11}-a_{12}\cdot det{A}_{12}+\cdots +(-1{)}^{1+n}{a}_{1n}det{A}_{1n}\\ & =\sum _{j=1}^n(-1{)}^{1+j}{a}_{1j}det{A}_{1j}\end{array}$$
当然这是针对第一行展开的，从中可以看出$n\times n$阶的行列式被展开成若干个$(n-1)\times (n-1)$阶的行列式。$det{A}_{1j}$称为代数余子式，是划掉行列式A的第$1$行第$j$列后余下行列式的值，也可以对第$i$行进行展开，$1$替换成$i$即可。同样地，也可以对某一列进行展开。

定理

1. 若$A$为三角阵，则$detA$为主对角线上元素乘积。这里的三角阵仅考虑行列式主对角线上边或下边元素全为零的情况。

2. 行变换性质。令$A$是一个方阵，则有

   • 若$A$的一行加上另一行的倍数得到$B$，则$detA=detB$
   • 若$A$的两行互换得到$B$，则$detA=-detB$
   • 若$A$的某行乘以k得到$B$，则$detA=kdetB$
   • $A$中有任何一行为0，则$detA=0$

   实际上，列变换也具有这些性质
   通过行列式的行变换，可以将一个复杂的行列式化简成三角型，如果化成阶梯型后不是三角型，则说明行列式值为0。

3. 当且仅当$detA̸=0$时方阵$A$是可逆的

4. 若$A$为一个$n\times n$矩阵，则$det{A}^T=detA$

5. 乘法性质。$det(AB)=(detA)(detB)$

线性方程组的解集问题

• 齐次线性方程组的解集
  • 首先说一下什么是齐次线性方程组。就是方程组可以写成$A\text{x}=\text{0}$，$A$是系数矩阵($m\times n$阶)，$\text{x}$是未知数n维列向量。显然这个方程必然有零解($x_1=0,x_2=0\cdots x_n=0$)。
  • 有没有非零解，取决于方程组有没有自由变量。如果系数矩阵的行秩$\ge$未知数个数n（事实上只能$=$，因为任何矩阵行秩$=$列秩$=$秩），也就是线性无关的有效方程的个数$=$未知数个数n，方程只有零解。如果小于，则$n-$行秩就是方程组自有变量的个数。如果$x_1,x_2$是自有变量的话，那么通解为$\text{x}=x_1\text{u}+x_2\text{v}$，$\text{u},\text{v}$为由方程解出来的列向量。
• 非齐次线性方程的解集
  • 非齐次线性方程组是为$A\text{x}=\text{b}$的形式，$\text{b}$为n维非$0$列向量。它的解有三种情况，由增广矩阵$\left[\begin{array}{cc}A& \text{b}\end{array}\right]$与系数矩阵$A$的秩的关系决定。若$r_{系数矩阵}=r_{增广矩阵}=n$，则有唯一解；若$r_{系数矩阵}=r_{增广矩阵}<n$,则有无穷解。若$r_{系数矩阵}̸=r_{增广矩阵}$，则无解。（其中n为未知数的个数）。$r_{系数矩阵}̸=r_{增广矩阵}$反映了给定的线性方程组有互相矛盾的情况，其差为矛盾线性方程的个数；若$r_{系数矩阵}=r_{增广矩阵}<n$，则说明给定的线性无关方程的个数小于未知变量个数，自然会有无穷多个解。
  • 如果非齐次线性方程组有解，且p是一个特解，则$A\text{x}=\text{b}$的解集所有形如$\text{w}=\text{p}+{\text{v}}_h$，其中${\text{v}}_h$是齐次线性方程组$A\text{x}=\text{0}$的通解。

克拉默法则

克拉默法则是用来求解系数矩阵为方阵且可逆的非齐次线性方程组的唯一解的定理。首先定义一个替换矩阵，对于任意$n\times n$矩阵$A$和任意${\mathbb{R}}^n$中向量$\text{b}$，令${\mathbf{A}}_{\mathbf{i}}(\mathbf{b})$表示$\mathbf{A}$中第i列由向量$\mathbf{b}$替换得到的矩阵。即
$${\mathbf{A}}_{\mathbf{i}}(\mathbf{b})=\left[\begin{array}{ccccc}{\mathbf{a}}_1& \cdots & \mathbf{b}& \cdots & {\mathbf{a}}_{\mathbf{n}}\end{array}\right]$$
接下来正式说明一下什么是克拉默法则
设$\mathbf{A}$是一个可逆的$n\times n$矩阵，对任意${\mathbb{R}}^n$中向量$\mathbf{b}$，方程$\mathbf{A}\mathbf{x}=\mathbf{b}$的唯一解可由下式给出，
$${\mathbf{x}}_{\mathbf{i}}=\frac{\mathbf{d}\mathbf{e}\mathbf{t}{\mathbf{A}}_{\mathbf{i}}\mathbf{b}}{\mathbf{d}\mathbf{e}\mathbf{t}\mathbf{A}},\mathbf{i}=1,2\cdots \mathbf{n}$$
$detA̸=0$再加上$n\times n$方阵的条件可以说明$r_{系数矩阵}=r_{增广矩阵}=n$