线性代数知识点速记

矩阵运算

• $AB=A[b_1,b_2,....,b_n]=[A{b}_1,A{b}_2,A{b}_3,.....,A{b}_n]$
• $ABC=A(BC)$
• $A(B+C)=AB+AC$
• $(B+C)A=BA+CA$
• $(A+B{)}^T=A^T+B^T$
• $(AB{)}^T=B^T{A}^T$
• $(AB{)}^{-1}=B^{-1}{A}^{-1}$
• $(A^T{)}^{-1}=(A^{-1}{)}^T$
• $AB$=$\left[\begin{array}{c}co{l}_1(A)co{l}_2(A)....co{l}_n(A)\end{array}\right]$$\left[\begin{array}{c}ro{w}_1(A)\\ ro{w}_2(A)\\ ....\\ ro{w}_n(A)\end{array}\right]=co{l}_1(A)ro{w}_1(A)+co{l}_2(A)ro{w}_2(A)+...+co{l}_n(A)ro{w}_n(A)$

矩阵的逆

• 只有方阵(nxn矩阵)才有逆

• 不可逆矩阵称为奇异矩阵，可逆矩阵称为非奇异矩阵

• 矩阵逆的求解方法

  矩阵$A$可逆，$A$行等价于单位矩阵$I$，把$A$变为$I$的行初等变化也可以将$A$变为$A^{-1}$，即将增广矩阵$[AI]$化简为$[I{A}^{-1}]$

行列式

• 概念：可逆矩阵化为阶梯型矩阵后，对角线上的元素的乘积一定不为0，由此引出行列式，行列式即方阵化为阶梯型后，对角线上元素的乘积

• 计算公式

  假设矩阵A为nxn矩阵

  • 方法一

  余因子$C_{ij}=(-1{)}^{i+j}det{A}_{ij}$，按第$i$行的余因子展开式：$detA=a_{i1}{C}_{i1}+a_{i2}{C}_{i2}+....+a_{in}{C}_{in}$，按第$j$行的余因子展开式：$detA=a_{1j}{C}_{1j}+a_{2j}{C}_{2j}+....+a_{nj}{C}_{nj}$

  • 方法二

  若A为三角阵，则$detA$为主对角线上元素的乘积

• 行列式作用

  • 判断方阵是否可逆，$detA=0$则不可逆

  • 克拉默法则求解$Ax=b$

    若矩阵A可逆，则向量$x$的第$i$维的值$x_i=\frac{det(A_i(b))}{det(A)}$，其中$A_i(b)$表示A的第i列用向量b替换

  • $A^{-1}=\frac{1}{detA}adjA$，其中$adjA$称为A的伴随矩阵， $adjA$=$\left[\begin{array}{c}{C}_{11}{C}_{21}....C_{n1}\\ C_{12}{C}_{22}....C_{n2}\\ ..............\\ C_{1n}{C}_{2n}....C_{nn}\end{array}\right]$

• 行列式的运算法则

  • $det(AB)=det(A)det(B)$

  • $det(A^T)=det(A)$

  • 若A的某一行的倍数加到另一行得矩阵B，则$det(A)=det(B)$

  • 若A的两行互换得到矩阵B，则$det(A)=-det(B)$

  • 若A的某行乘以k得到矩阵B，则$det(A)=kdet(B)$

向量空间

• 向量空间的定义，快，快点我，我等不及了

• 向量空间$V$的子空间$H$满足下列条件

  1、$V$中的零向量在$H$中

  2、$H$对向量加法和标量乘法封闭

• 线性无关：$V$中向量的一个指标集 { V 1 , V 2 , . . . , V p } \{V_1,V_2,...,V_p\} {V1​,V2​,...,Vp​}线性无关，则$C_1{V}_1+C_2{V}_2+....+C_n{V}_n=0$只有平凡解，即$C_1,C_2,...,C_n$均为0

• 向量集 { b 1 , b 2 , . . . . , b n } \{b_1,b_2,....,b_n\} {b1​,b2​,....,bn​}是向量空间（子空间）的基，则有

  1、该向量集线性无关

  2、该向量集的线性组合可以表示向量空间（子空间）中的任意向量

• 正交基：基中的任意两个不同向量均正交，通过格拉姆-施密特方法可以将一组基转换为正交基

• 矩阵的零空间

  • 概念：满足Ax=0的所有向量x构成的向量空间

  • 基的个数：非主元列的个数（主元列即化为阶梯型后，每行第一个非零元素对应的列，注意是没化简前的列，不是化简成阶梯型后的列）

  • 基的求解：把Ax=0中的x求解出来，x的解通常由自由变量（取值任意）组成，将所有的自由变量提取出来，剩余的向量即为零空间的基

• 矩阵的列空间

  • 概念：矩阵列的线性组合形成的向量空间

  • 基的个数：主元列的个数

  • 基的求解：主元列即为基

• 矩阵的行空间

  • 概念：矩阵行的线性组合形成的向量空间

  • 基的个数：化为阶梯型后，所有非零行的个数

  • 基的求解：化为阶梯型后，所有非零行对应的非阶梯型矩阵的行向量

• 线性变换

  概念：线性变化T将向量空间 V中的任意向量映射到向量空间 W中的唯一向量$T(x)$，对象向量空间V中的向量$u、v$满足：

  （1）$T(u+v)=T(u)+T(v)$

  （2）$T(cu)=cT(u)$

• 向量空间的维数：基中向量的个数，记为$dimA$

• 矩阵A的秩：A的列空间的维数，记为$rankA$

• 基定理

  • 一个p维向量空间V，任意p个线性无关的向量组成的集合为V的一个基
  • 一个p维向量空间V，任意含有p个向量且生成V的集合为V的一个基

• 秩定理

  • m*n矩阵的行空间与列空间的维数相等
  • 这个维数等于主元的个数
  • $rankA+dim(NulA)=n$，即主元列个数+非主元列个数=列的个数

坐标系

• 唯一表示定理： B = { b 1 , b 2 , . . . . , b n } B=\{b_1,b_2,....,b_n\} B={b1​,b2​,....,bn​}为向量空间V的一个基，对V中的每个向量$x$，存在唯一一组数$c_1,c_2,...,c_n$满足$x=c_1{b}_1+c_2{b}_2+...+c_n{b}_n$，则$(c_1,c_2,....,c_n)$称为$x$相对于基B的坐标

• $R^n$中的坐标变换

  • 概念：同一向量空间，同一向量在不同基中的坐标变换

  • 设$R^n$的基为 B = { b 1 , b 2 , . . . . , b n } B=\{b_1,b_2,....,b_n\} B={b1​,b2​,....,bn​}，基构成的矩阵一定是n*n矩阵，记为$P_B$，由于各列线性无关，$P_B$一定可逆，向量X在标准基上的坐标为x，与$B$作为基的坐标$[x{]}_B$之间的关系为

  $$x=P_B[x{]}_B$$

  $$P_B^{-1}x=[x{]}_B$$

• 坐标映射：同一向量在不同基中的坐标之间存在一一对应关系，用于向量在不同基之间坐标转换的映射称为坐标映射

• 同一向量空间，不同基之间坐标的相互转换

  设 B = { b 1 , b 2 , . . . , b n } B=\{b_1,b_2,...,b_n\} B={b1​,b2​,...,bn​}和 C = { c 1 , c 2 , . . . , c n } C=\{c_1,c_2,...,c_n\} C={c1​,c2​,...,cn​}是向量空间V的基，向量x在这两个基之间的坐标存在下列关系

  $$P=[[b_1{]}_C,[b_2{]}_C,....,[b_n{]}_C]$$

  $$[x{]}_C=P[x{]}_B$$

  $[b_i{]}_C$表示向量$b_i$在基$C$构成的坐标系中的坐标

矩阵的特征向量与特征值

• n*n矩阵A的特征值与特征向量

  非零向量$x$，满足$Ax=\lambda x$，则$\lambda$为A的特征值，$x$称为特征向量

• 特征值与特征向量的求解

  • 利用$det(A-\lambda I)=0$求解$\lambda$，得到特征值

  • 利用$(A-\lambda I)x=0$求解特征值对应的特征向量

• 特征向量的性质

  • 不同特征值对应的特征向量之间线性无关

• 矩阵相似

  • 概念：若n*n矩阵A与n*n矩阵B相似，则存在可逆矩阵$P$，满足$A=P^{-1}BP$

  • 性质：相似矩阵具有相同的特征值与重数

矩阵分解（对角化，QR分解、奇异值分解）

对角化

• 形式：若A为n*n矩阵，则矩阵A的对角化为：$A=PD{P}^{-1}$，$D$为对角矩阵，对角线上的元素为特征值，$P$为线性无关的特征向量为列构成的矩阵，P中第$i$列特征向量对应的特征值为$D$中第$i$列上的非0元素

• 几何意义：$Ax=PD{P}^{-1}$，向量与矩阵相乘，首先将向量从标准基中的坐标映射为以P为基构成的坐标系中的坐标，接着对每个坐标进行拉伸变换（乘特征值），然后映射回标准基中的坐标

• 可对角化的条件：n*n矩阵A可对角化的充分必要条件为A有n个相异的特征值或n个线性无关的特征向量

QR分解

• 形式：若m*n 矩阵A的列线性无关，则有A=QR，Q是一个m*n矩阵，列为A的列空间的一个标准正交基，R是一个n*n上三角可逆矩阵，对角线上的元素为正数

• QR分解的步骤

  • 求列空间的基，就是A的每列
  • 利用格拉姆-施密特方法标准正交化，得到Q
  • $R=Q^{T}A$

奇异值分解

• 形式：m*n矩阵A的秩为r，则有$A=U\sum V^T$，其中$U$为mxm的正交矩阵，$V$为nxn的正交矩阵，$\sum$为mxn的矩阵，形式为$$\left[\begin{array}{cc}D& 0\\ 0& 0\end{array}\right]$$D为对角矩阵，对角线元素为A的前r个奇异值，满足${\delta }_1\ge {\delta }_2\ge ....{\delta }_r>0$，$U$的列称为左奇异向量，$V$称为右奇异向量

• 奇异值：$A^{T}A$的特征值的平方根

• 奇异值分解的步骤

  • 矩阵$A^{T}A$正交对角化
  • 计算$\sum$，奇异值对应的单位特征向量组成$V$，列记为$v_1,v_2,...,v_r$
  • 矩阵$U$的前r列为从$A{v}_1,A{v}_2,...,A{v}_r$计算得到的单位向量

• 基本子空间的基：矩阵A的秩为r，则前r个左奇异向量构成矩阵A的列空间的一个单位正交基

特殊矩阵

正定、负定、半正定、半负定矩阵

• 正定矩阵M：$Z^{T}MZ>0$

• 负定矩阵M：$Z^{T}MZ<0$

• 半正定矩阵M：$Z^{T}MZ\ge 0$

• 半负定矩阵M：$Z^{T}MZ\le 0$

• 正定矩阵的判别

  • 顺序主子式的行列式大于0
  • 特征值大于0

• 海瑟矩阵正定，函数在该点取得极小值

• 海瑟矩阵负定，函数在该点取得极大值

正交矩阵

• 概念：若矩阵$U$满足$U^{-1}=U^T$，则矩阵$U$称为正交矩阵

三角矩阵

• 概念：三角矩阵分上三角矩阵和下三角矩阵两种。上三角矩阵的对角线左下方的系数全部为零，下三角矩阵的对角线右上方的系数全部为零。

• 三角矩阵主对角线上的元素是其特征值

对称矩阵

• 概念：nxn矩阵A，满足$A=A^T$，主对角线元素是任意的，但是主对角线两侧的值关于对角线对称

• 性质：

  • 对称矩阵任意两个特征向量正交
  • 对称矩阵可正交对角化，正交对角化即$A=PD{P}^T$，$P$为正交矩阵