一个小时速通线性代数全概念

参考视频：$一个小时速通线性代数全概念$

向量与线性组合

• 向量点乘（内积）：$\overrightarrow{a}\cdot \overrightarrow{b}={\sum }_{i=1}^n{a}_i{b}_i=|\overrightarrow{a}||\overrightarrow{b}|\cos \theta$
• 线性组合：令$c_1,c_2,\cdots ,c_k$为常数，$v_1,v_2,\cdots ,v_k$为${\mathbb{R}}^n$中的向量，$c_1{v}_1+c_2{v}_2+\cdots +c_k{v}_k$为向量的线性组合。
• 线性无关：n个向量组成的向量组的线性组合只在系数全部为零是为零，线性相关即存在不全为零的系数使得线性组合为零。
• 张成空间为向量组的全部线性组合所构成的向量集合。n个线性无关的向量能够张成一个n维空间，向量组可以张成的维度 n 就是向量组的秩 r 。

矩阵与线性变换

• 标准正交基：两两垂直，长度为1的基

• 每个线性变换都可以由一个矩阵表示。对于每个矩阵我们都可以将其看作把它的每一列由单位矩阵的对应列变换而来的基向量。例如：$A=\left[\begin{array}{cc}1& -1\\ 1& 0\end{array}\right]$就是把基$\overrightarrow{i}=\left(\begin{array}{c}1\\ 0\end{array}\right)，\overrightarrow{j}=\left(\begin{array}{c}0\\ 1\end{array}\right)$变换为$\overrightarrow{i}=\left(\begin{array}{c}1\\ 1\end{array}\right)，\overrightarrow{j}=\left(\begin{array}{c}-1\\ 0\end{array}\right)$的线性变换。

  例如我们想要知道$\left[\begin{array}{c}x\\ y\end{array}\right]$经过$A=\left[\begin{array}{cc}1& -1\\ 1& 0\end{array}\right]$变换后的位置只需要计算$x\left(\begin{array}{c}1\\ 1\end{array}\right)+y\left(\begin{array}{c}-1\\ 0\end{array}\right)$，即为$\left[\begin{array}{c}x\\ y\end{array}\right]$在变换后的坐标对应的标准平面直角坐标系的坐标。

  而如果乘以$A^{-1}$的话，就能得到标准直角坐标系的坐标在$A$变换后坐标系中的坐标。

• 矩阵之间的乘法，则可以看作是依次进行了多个线性变换。

行列式

• 如果把矩阵看作一个线性变换，那么矩阵的行列式就代表经过矩阵变换后的单位面积（或高维单位多面体体积）的缩放倍数，由此我们也不难得出$|AB|=|A||B|$。

• 如果行列式的值为零，则说明空间被压缩到了更小的维度上去，我们称行列式为零的矩阵为奇异矩阵。

• 矩阵的秩：线性无关的列的数量，一般用r来表示$r(A)$变换后的空间维数。如果$r(A)=n$，那么方阵$A_{n\times n}$是满秩矩阵，如果矩阵是$m\times n$矩阵，那么$0\le r(A)\le min(m,n)$

• 满秩矩阵（变换不会压缩空间维度）$\iff$行列式不为零，不满秩矩阵$\iff$行列式为零。

• 余子式：在 n 阶矩阵的行列式中，把元素$a_{ij}$所在的第i行和第j列划去之后，留下来的 n-1阶矩阵的行列式叫做元素$a_{ij}$的余子式，记作$M_{ij}$。

• 代数余子式：将$A_{ij}=(-1{)}^{i+j}{M}_{ij}$记作$a_{ij}$的代数余子式。

• 代数余子式定理：行列式等于它的任意一行或列的各元素与其对应的代数余子式的乘积之和：
  $$|A|=\sum _{i=1}^n{a}_{ik}{A}_{ik}=\sum _{j=1}^n{a}_{kj}{A}_{kj}$$。

  而任意一行（列）的所有元素与另一行（列）的所有元素对应的代数余子式的乘积之和为0（也很好证明，相当于行列式中有两行（列）一样，初等变换之后有一行（列）全零）

• 伴随矩阵$A^{\ast }$，每个元素$a_{ij}^{\ast }$都是矩阵$A$中$a_{ij}$对应的代数余子式的矩阵，称为伴随矩阵。对于n阶矩阵$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]$，其伴随矩阵为$A^{\ast }=\left[\begin{array}{cccc}{A}_{11}& A_{21}& \cdots & A_{n1}\\ A_{12}& A_{22}& \cdots & A_{n2}\\ ⋮& ⋮& \ddots & ⋮\\ A_{1n}& A_{2n}& \cdots & A_{nn}\end{array}\right]$，其中$A_{ij}$表示$a_{ij}$的代数余子式， 注意伴随矩阵的行列下标是相反的

• 由代数余子式定理可以推导$A{A}^{\ast }=A^{\ast }A=\left[\begin{array}{cccc}|A|& 0& \cdots & 0\\ 0& |A|& \cdots & 0\\ ⋮& ⋮& & ⋮\\ 0& 0& \cdots & |A|\end{array}\right]=|A|E$，那么我们就可以得到$A$的逆矩阵$A^{-1}=\frac{1}{|A|}{A}^{\ast }$。也由此可知矩阵可逆的充要条件：行列式不为零。

线性方程组

假设我们有一个方程组$$\{\begin{array}{c}x+2y+z=1\\ x+3y+2z=0\\ 2x+y+z=1\end{array}$$（非齐次线性方程组）

• 齐次线性方程组：等式右边全部为0的方程组

• 系数矩阵：由所有方程组系数构成的矩阵

• 上述非齐次线性方程组的几何意义：求在以系数矩阵$A$为基的坐标系中的未知数向量$\alpha$使得其在平面直角坐标系中的坐标为常数矩阵$\beta$。

• 克拉默法则：如果非齐次线性方程组的系数矩阵$A$的行列式不为0，那么方程组有唯一解。且$x_j=\frac{|A_j|}{|A|}$，其中$A_j$代表将系数矩阵的第 j列替换为常数矩阵之后得到的 n阶矩阵。

• 将常数矩阵拼接到系数矩阵后面，可以得到增广矩阵$A,\beta$：

  • 有唯一解$\iff r(A)=r(A,\beta )=n$，即系数矩阵和增广矩阵都是满秩的。
  • 有无穷多解$\iff r(A)=r(A,\beta )<n$，即系数矩阵和增广矩阵都不满秩的。
  • 无解$\iff r(A)\le r(A,\beta )$。

• 将增广矩阵 $A,\beta$ 通过初等行变换如果可以变为$E,\gamma$；那么$\gamma$就是方程组的解。

• 求矩阵的逆也可以将增广矩阵$A,E$通过初等行变换变为$E,A^{-1}$。

• 对于齐次线性方程组$Ax=0$

  • 逆矩阵法显然只能得到0向量，采用初等行变换对增广矩阵变换，得到的全零行假设是第j行，就代表未知数$x_j$可以取任意值。
  • $Ax=0$只有零解$\iff r(A)=n$（即A列满秩）
  • $Ax=0$有非零解$\iff r(A)<n$，即$|A|=0$

• 假设向量${\zeta }_1,{\zeta }_2,\cdots ,{\zeta }_{n-r}$都是$Ax=0$的解，如果向量${\zeta }_1,{\zeta }_2,\cdots ,{\zeta }_{n-r}$线性无关，并且方程$Ax=0$的任意一个解都可以被${\zeta }_1,{\zeta }_2,\cdots ,{\zeta }_{n-r}$线性表示出来，我们称这组解为基础解系，如果系数矩阵的秩是 r，那么基础解系的秩就是 n-r。

• 齐次线性方程组解与非齐次线性方程组解的关系：

  • 如果$\eta$是非齐次解，$\zeta$是齐次解，则$\eta +\zeta$是非齐次线性方程组$Ax+b$的解。
  • 如果$\eta$是非齐次解，$k_1{\zeta }_1+k_2{\zeta }_2\cdots +k_{n-r}{\zeta }_{n-r}$是对应的齐次通解，则$\eta +k_1{\zeta }_1+k_2{\zeta }_2\cdots +k_{n-r}{\zeta }_{n-r}$为非齐次的通解。同时$\eta ,{\zeta }_1,{\zeta }_2,\cdots ,{\zeta }_{n-r}$线性无关且$\eta ,\eta +{\zeta }_1,\eta +{\zeta }_2,\cdots ,\eta +{\zeta }_{n-r}$是非齐次方程的$n-r+1$个线性无关的解。
  • 如果${\eta }_1,{\eta }_2,\cdots ,{\eta }_k,\eta$是非齐次方程的$k+1$个线性无关的解，则${\eta }_1-\eta ,{\eta }_2-{\eta }_1,\cdots ,{\eta }_s-\eta$是对应齐次方程的$k$个线性无关的解。

• 求$Ax=0$的通解：

  把系数矩阵$A$通过初等行变换，消掉线性相关的行，剩余$n-r(A)$个线性无关的方程可以确定$n-r(A)$个主元（可以随便选那行系数不为0的未知数为主元），假设主元集合为$x_{k_1},x_{k_2},\cdots ,x_{k_{n-r(A)}}$，分别带入$(1,0,\cdots ,0)、(0,1,\cdots ,0)、\cdots 、(0,0,\cdots ,1)$，可以得到向量${\zeta }_1,{\zeta }_2,\cdots ,{\zeta }_{n-r}$都是$Ax=0$的解。

• 求$Ax=b$的特解：

  同上$Ax=0$部分中找主元的方式，找到主元，然后所有自由元为0，然后解出主元，这个向量即为$Ax=b$的特解。

特征值与特征向量

• 令$A$为变换矩阵，$v$为特征矩阵，$\lambda$为特征值，有$Av=\lambda v$。
• 特征值与特征向量的几何意义：特征向量经过对应的矩阵变换之后，仍然在同一条直线方向上，等同于乘以特征值标量的缩放（如果特征值标量小于零就是反向）。
• 特征向量与特征值的求法：
  • 令$I$为单位矩阵$Av=(\lambda I)v\to (A-\lambda I)v=0$即$|A-\lambda I|=0$，求解这个行列式即可得到特征值的解：例如若$A=\left[\begin{array}{cc}4& 1\\ 0& 5\end{array}\right]$，当$|A-\lambda I|=\left[\begin{array}{cc}4-\lambda & 1\\ 0& 5-\lambda \end{array}\right]=(4-\lambda )(5-\lambda )=0\to \{\begin{array}{c}\lambda =4\\ \lambda =5\end{array}$ 。
  • 求得$\lambda$的值之后，带入$(A-\lambda I)v=0$，参考前文中的齐次线性方程组$Ax=0$求解方式，即可得到特征向量。
• 性质：
  • ${\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n=a_{11}+a_{22}+\cdots +a_{nn}$即特征值的和等于矩阵$A$主对角线上的元素
  • ${\lambda }_1{\lambda }_2\cdots {\lambda }_n=|A|$，所以一个矩阵的特征值有0的话，矩阵的行列式为0；矩阵的行列式不为零，则所有特征值都不为0.
  • 特征向量一定是非零向量，同一矩阵的不同一特征值的特征向量线性无关。所以同一特征值的特征向量的线性组合仍然是该特征值的特征向量，但是不同特征值的特征向量的线性组合（系数非零）一定不是该矩阵的特征向量。
  • 如果一个特征值为 k重特征值，则属于特征值$\lambda$的线性无关的特征向量最多有 k个。
    

相似矩阵与相似对角化

• 相似矩阵：如果存在另一个矩阵$B$，满足$P^{-1}AP=B$，那么我们称矩阵$A$和矩阵$B$相似，$A\sim B$。

• 相似矩阵的本质就是在不同的基向量下表达同一个线性变换，$P^{-1}AP$

• 矩阵相似的一些性质：

  • 如果$f(A)$是$A$的一个多项式，则$f(A)\sim f(B)$
  • 有$A^{-1}\sim B^{-1},A^T\sim B^T,A^{\ast }\sim B^{\ast }$
  • $R(A)=R(B),|A|=|B|$，$A$与$B$的特征值相同。
  • 如果$A$与$B$都是$n$解矩阵并且$A$可逆，则$AB\sim BA$；
  • 如果$A_1\sim B_1$，$A_2\sim B_2$则$\left(\begin{array}{cc}{A}_1& 0\\ 0& A_2\end{array}\right)\sim \left(\begin{array}{cc}{B}_1& 0\\ 0& B_2\end{array}\right)$;

• 相似对角化：已知$A$是$n$阶矩阵，如果存在$n$阶可逆矩阵$P$满足$P^{-1}AP=\Lambda$，则称$A$可相似对角化。$$A\stackrel{相似对角化}{⟹}\Lambda$$

  在$P$这组基下，线性变换$A$只沿着坐标轴进行拉伸或者压缩，而不进行旋转。

  可逆矩阵$P$的列就是矩阵$A$的单位特征向量。$\Lambda$对角线上的元素就是这些特征向量所对应的特征值。

  矩阵$A$可以相似对角化的充要条件就是A有n个线性无关的特征向量，换言之矩阵每个k重特征值的线性无关的特征向量的个数为k。

二次型与合同

对于一个多元二次函数，如果每一项的次数和都是2的话，那么这个函数就是齐次的，称为二次型。

我们用下面这个例子来引出这一章的内容：

$$\begin{array}{c}\begin{array}{rl}f& =x^2+2y^2+3z^2+4xy+5yz+6xz\\ & =(x^2+2xy+3xz)+(2y^2+2xy+2.5yz)+(3z^2+3xz+2.5yz)\\ & =x(x+2y+3z)+y(2x+2y+2.5z)+z(3x+2.5y+3z)\\ & =\left(\begin{array}{ccc}x& y& z\end{array}\right)\left(\begin{array}{c}x+2y+3x\\ 2x+2y+2.5z\\ 3x+2.5y+3z\end{array}\right)\\ & =\left(\begin{array}{ccc}x& y& z\end{array}\right)\left(\begin{array}{ccc}1& 2& 3\\ 2& 2& 2.5\\ 3& 2.5& 3\end{array}\right)\left(\begin{array}{c}x\\ y\\ z\end{array}\right)\end{array}\end{array}$$

即有二次型可以使用如下表达式表示：$f=x^{T}Ax$

• 更常见地有：

  $$\begin{array}{c}\begin{array}{rl}f(x_1,x_2,\cdots ,x_n)& =a_{11}{x}_1^2+a_{22}{x}_2^2+\cdots +a_{nn}{x}_n^2+a_{12}{x}_1{x}_2+\cdots +a_{n-1,n}{x}_{n-1}{x}_n\\ & =\left(\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right)\left(\begin{array}{cccc}{a}_{11}& \frac{a_{12}}{2}& \cdots & \frac{a_{1n}}{2}\\ \frac{a_{12}}{2}& a_{22}& \cdots & \frac{a_{2n}}{2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{a_{1n}}{2}& \frac{a_{2n}}{2}& \cdots & a_{nn}\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)\end{array}\end{array}$$

  二次型与对称矩阵存在一一对应的关系，对称矩阵$A$叫做二次型$f$的矩阵，也把$f$叫做对称矩阵$A$的二次型。同时矩阵$A$的秩就叫做二次型$f$的秩。

• 合同：如果存在一个可逆矩阵$C$，满足$C^{T}AC=B$，则称矩阵$A$和$B$合同。

• 合同的几何意义：同一个二次曲线在不同基下需要用不同的二次型矩阵表示。

  合同的几何意义

等价、相似与合同的关系：

• 矩阵等价只需要矩阵等秩$R(A)=R(B)$，向量组等价不仅需要等秩，还需要可以相互线性表示出即$R(A)=R(B)=R(A,B)$
• 矩阵相似则一定等价，所以如果矩阵相似则有等秩且特征值相同；但是特征值相同未必相似，除非是实对称矩阵。（证明两矩阵相似：实对称矩阵，且特征值相同）
• 矩阵合同则一定等价，所以如果矩阵合同则等秩且正负特征值个数相同，但正负特征值个数相同未必合同，除非是实对称矩阵；（证明两矩阵合同：实对称矩阵，且正负特征值个数相同）
• 如果矩阵是实对称矩阵，则有$相似\to 合同\to 等价$；
• 如果需要判断两个实对称的矩阵的合同与相似：首先计算迹（特征值之和）与行列式（特征值的积）是否相同，不相同则一定不相似；然后再计算特征值根据正负个数判定是否合同。

一个只含有平方项的二次型我们称之为二次型的标准型。如果标准型的系数只能取值为1，-1，0的话，我们称这个标准型为规范形。

要将一个二次型转化为标准型，我们可以使用配方法，例如：

$f=3x_1^2+2x_1{x}_2+x_2^2=(x_1+x_2{)}^2+2x_1^2=x^{T}Ax$

令$\{\begin{array}{l}{y}_1=x_1+x_2\\ y_2=x_1\end{array},有f=y_1^2+2y_2^2=y^{T}By$

显然有$\left(\begin{array}{c}{y}_1\\ y_2\end{array}\right)=\left(\begin{array}{cc}1& 1\\ 0& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)$

求逆矩阵可以得到$\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{cc}1& -1\\ 0& 1\end{array}\right)\left(\begin{array}{c}{y}_1\\ y_2\end{array}\right)=Cy$

$\because f=x^{T}Ax=y^{T}By\therefore y^T{C}^{T}ACy=y^{T}By\to C^{T}AC合同B$

• 正交矩阵：当$P{P}^T=I$或$P^{T}P=I$成立时，称$P$为正交矩阵，正交矩阵合同变换时只做关于圆心的旋转，并不进行任何的拉伸。
• 正交矩阵的各行各列都是单位向量且两两相交
• 由于正交矩阵的转置等于他的逆矩阵，因此$B=P^{T}AP=P^{-1}AP$合同变换同时还是相似变换。
• 给定任意二次型$f$，总有正交变换$x=Py$ 使得$f$化为标准型$f={\lambda }_1{y}_1^2+{\lambda }_2{y}_2^2+\cdots +{\lambda }_n{y}_n^2$，其中${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$是$f$的矩阵$A$的特征值。
  • 利用正交矩阵，我们也可以将二次型转换为标准形，参考相似变换中的相似对角化$P^{-1}AP=\Lambda$，构造每一列都是单位特征向量的矩阵$P$即可构造出正交变换$x=Py$。

二次型的标准形不唯一。

• 惯性定理：二次型的标准形中正系数的个数称为二次型的正惯性指数，负系数的个数为负惯性指数。
• 正定矩阵，如果二次型$f(x)=x^{T}Ax$满足对任何$x\ne 0$都有$f(x)>0$，则称$f(x)$为正定二次型，称$A$为正定矩阵。反之为负定矩阵：如果二次型$f(x)=x^{T}Ax$满足对任何$x\ne 0$都有$f(x)<0$，则称$f(x)$为负定二次型，称$A$为负定矩阵。
  • 正定矩阵的充分必要条件：
    1. 标准形的系数全为正数，即正惯性系数为1；
    2. 特征值全为正，参考正交矩阵下的第四点。
    3. 与单位矩阵合同，即存在可逆矩阵C，满足$C^{T}AC=E$
       任何$x\ne 0$都有$f(x)<0$，则称$f(x)$为负定二次型，称$A$为负定矩阵。
  • 正定矩阵的充分必要条件：
    1. 标准形的系数全为正数，即正惯性系数为1；
    2. 特征值全为正，参考正交矩阵下的第四点。
    3. 与单位矩阵合同，即存在可逆矩阵C，满足$C^{T}AC=E$