点云配准（一） 线性代数基础

线性代数基础速通

一.行列式

1.行列式的概念

行列式是由$n^2$个元素组成的n行n列矩阵A的一种代数运算规则/函数，行列式内的矩阵元素A是一个方阵，这样的行列式被称为n阶行列式，用det(A)或|A|表示，其形式如下图所示。行列式的产生最早是因为数学家为了方便进行方程组求解时提出的一种运算规则/运算符号而已。

2.行列式的对角线法则

既然行列式是一种运算规则，那么怎么把行列式计算出结果呢？行列式第一种比较通用的计算方法是对角线法则，该方法按照主副对角线分别将行列式展开，由于比较繁杂因此只适用于2、3阶行列式。可以看出，在不含未知数的情况下，行列式的计算结果是一个标量。

3.行列式的代数余子式定义

上面说到对于2、3阶行列式可以使用对角线法则进行表示。但是对于更高阶的n阶行列式该如何去更普遍的表示和定义计算呢？这里我们先来看一个三阶行列式的推导如下图所示：对于三阶行列式，我们可以将其按照第一行元素展开，表示成三个二阶行列式的代数和。经过观察发现每一个二阶行列式的形成恰好是其对应元素$a_{1i}$的位置1i去掉对应的行1和列i所形成的二阶行列式。因此，在推导出一定的规律之前，我们先来进行一些定义。

（1）余子式

在行列式A中，划去元素$a_{ij}$所在的第i行和第j列，剩下的$(n-1{)}^2$个元素按原来的排列方法法构成一个n-1阶的行列式$M_{ij}$，称$M_{ij}$为元素$a_{ij}$的余子式。

（2）代数余子式

对于元素$a_{ij}$的余子式$M_{ij}$来说，我们令$A_{ij}=(-1{)}^{i+j}{M}_{ij}$ 称为元素$a_{ij}$的代数余子式。

（3）n阶行列式的展开/定义

注意： 若行列式中任意一行或一列全为0，则该行列式的值一定为0！

4.特殊行列式的计算

对于对角行列式、上三角行列式、下三角行列式来说，其行列式运算结果等于其主对角线上元素的乘积，即|A| = $a_{11}{a}_{22}{a}_{33}...a_{nn}$

证明方法：使用n阶行列式的代数余子式定义按照唯一非零元素的行/列不断递归展开即可得到结果为主对角线上的元素乘积。

5.行列式的性质

（1）行列式与其转置行列式的结果相等，即$D=D^T$

证明：转置前后分别按照行列式的第一行和第一列的代数余子式定义展开，其结果相同，详细证明略。

（2）行列式交换任意两行，行列式结果变号。（列同理）

证明：逆序数变换后会改变原始排列的奇偶性（可参考行列式的逆序数定义）

（3）若行列式中有两行元素完全相同或对应成比例，则行列式结果为0（列同理）

证明：使用性质2证明即可，x=-x

（4）在同一行列式中，第j行的元素与第i行元素的代数余子式的乘积之和为0（列同理）

证明：使用性质2证明即可，构造一个新的行列式，其第i行对应元素替换为第j行元素，则ij两行元素相等，行列式为0。

（5）用数字k乘行列式某一行中所有元素，等于用k乘此行列式，即公共k可以提出来（列同理）

证明：使用代数余子式定义证明即可。按照该行展开，可以发现每个a系数内都包含k，可以提出来。

（6）若行列式某行元素可以拆为两数之和，则行列式可以拆为两个行列式的和。（列同理）

证明：使用代数余子式定义证明即可。按照该行展开，可以发现结果可以拆问两个子行列式代数余子式序列的和。

（7）行列式某行元素加上另一行对应元素的k倍，行列式的值不变。（列同理）

证明：使用代数余子式定义，按照该行展开，展开后可以拆为两个子行列式的和。其中第一个行列式等于原行列式，第二个行列式使用性质4可以证得结果为0。

6.克莱姆法则

（1）克莱姆法则的定义

**克莱姆法则的重要理论价值：研究了方程组的系数与方程组解的存在性与唯一性关系;**与其在计算方面的作用相比，克莱姆法则更具有重大的理论价值。

注意：特别的对于n元齐次线性方程组来说：若系数行列式$D\ne 0$则方程组有唯一0解；若系数行列式$D=0$则方程组有无穷多解。

（2）证明与推导

二.矩阵

1.矩阵的概念

由mxn个数按照一定的次序排成的m行n列的矩形数表称为mxn的矩阵。元素是实数的矩阵称为实矩阵，元素是复数的矩阵称为复矩阵，目前我们暂时只考虑实矩阵。特别的，矩阵表示一种新的数据组织形式/数据格式。

2.特殊的矩阵

（1）方阵

当矩阵的行数和列数相等，即m=n时，称该矩阵为方阵。

（2）零矩阵

当矩阵的元素全为0时，该矩阵被称为零矩阵。

（3）对角矩阵

若一个方阵除了主对角线上的元素外，其余元素都等于零，则称之为对角阵（diag）。

（4）单位矩阵

单位矩阵是个方阵，从左上角到右下角的对角线（主对角线）上的元素均为1。除此以外全都为0。简记为I或E

（5）梯形阵

设$A=(a_{ij}{)}_{m\times n}$为非零矩阵，若非零行（即至少有一个非零元素的行）全在零行的上面，A中各非零行中第一个（最后一个）非零元素前（后）面零元素的个数随着行数增大而增多（减少），则成为上（下）梯形矩阵。简称为上（下）梯形阵。统称为梯形阵。

注意： 横线可跨多个数，竖线只跨一个数！

（6）对称矩阵

• 概念：对于n阶方阵A来说，若矩阵以主对角线（从左上至右下）为对称轴，各元素对应相等即$a_{ij}=a_{ji}$，则该矩阵被称为对称矩阵。

• 性质：

  • 对称矩阵与其转置矩阵相等，即$A=A^T$
  • 对角矩阵、单位矩阵、数量阵都是对称矩阵
  • 对任意方阵A来说， $A+A^T$为对称矩阵；对任意矩阵A来说， $A{A}^T、A^{T}A$ 都是对称矩阵
  • 工程性质：任意方阵都可以分解为一个对称阵和反对称阵的和
    

（7）反对称矩阵

• 概念：对于n阶方阵A来说，若矩阵以主对角线（从左上至右下，主对角线上元素全为0）为对称轴，各元素对应相反即$a_{ij}=-a_{ji}$，则该矩阵被称为反对称矩阵。
• 性质：
  • 对称矩阵与其转置矩阵相反，即$A=-A^T$
  • 对任意方阵A来说， $A-A^T$ 都是反对称矩阵

（8）正交矩阵

• 概念：满足 $A^{T}A=A{A}^T=E$ 的n阶实方阵A，称为正交矩阵（E为单位矩阵）
• 性质：
  • 若A为正交矩阵，则 $A^T=A^{-1}$
  • 若A为正交矩阵，则$A^T、A^{-1}$ 也是正交矩阵
  • 若A为正交矩阵，则$|A|=1或|A|=-1$
  • 若A,B均为n阶正交矩阵，则AB与BA也是正交矩阵
  • 矩阵A为正交矩阵的充分必要条件是：A的行（列）向量组为单位正交向量组（重要）

3.矩阵的基础运算

（1）矩阵乘法

• 概念：两个矩阵可以做乘法的前提是，前一个矩阵的列=后一个矩阵的行。且矩阵乘法不满足交换律和消去律

• 运算律：
  

（2）方阵的幂运算

• 注意：
  • 这里的幂运算为正整数幂运算，且只有方阵才有幂运算
  • A的0次幂为单位矩阵E的前提条件是A不为零矩阵（零矩阵不一定为方阵，但此处只有方阵有幂运算）。
  • $(AB{)}^k=A^k{B}^k$ 成立的前提条件是，AB = BA

（3）矩阵的转置

• 概念：转置运算的本质是交换矩阵的行和列，且任何矩阵都有转置运算，矩阵A的转置用$A^T$表示。
  

• 运算规律
  

注意： $(ABC{)}^T=C^T{B}^T{A}^T$ 也成立

（4）方阵的行列式

• 概念：对于n阶方阵A来说，可以对其进行行列式运算，记作det(A)或|A|
• 性质：
  • 若方阵A的行列式不为0，则称A为非奇异矩阵；否则称为奇异矩阵
  • 对于方阵A来说，$|A|=|A^T|$
  • 奇数阶反对称阵A的行列式一定为0（A为奇数阶方阵，且为反对称阵）
  • 对于n阶方阵A、B来说，有$|kA|=k^n|A|、|AB|=|A||B|$

（5）矩阵的秩

• 概念：

  • k阶子式：在矩阵A中任取k行k列，这些元素按照原顺序组成的k阶行列式称为矩阵A的k阶子式。其中，mxn矩阵A的k阶子式共有C(m,k)*C(n,k)个。
  • 秩的定义：矩阵A的所有不等于0的子式的最高阶数称为矩阵A的秩，记作r(A)。其中只有r(0) = 0；只要A不是零矩阵，就一定有r(A) > 0

• 性质：

  • 朴素定理1
    

  • 朴素定理2：

    • 矩阵A和B等价的充分必要条件是r(A) = r(B)
    • 若矩阵$A_{m\times n}$的秩r(A) = m，则称为行满秩；若矩阵$A_{m\times n}$的秩r(A) = n，则称为列满秩。行满秩和列满秩均称为满秩矩阵，否则称为降秩矩阵
    • 若方阵$A_{n\times n}$的秩r(A) = n，则方阵A为满秩矩阵；对应的其$|A|\ne 0$，则满秩矩阵也是非奇异矩阵，是可逆矩阵。否则，降秩矩阵也是奇异矩阵

  • 朴素定理3：矩阵的初等变换均不改变矩阵的秩且矩阵的秩等于其转置矩阵的秩。因此可以通过初等（行）变换将矩阵化为梯形阵（任何矩阵都可以通过初等变换转化为梯形阵求解），根据非零行的个数判断矩阵的秩

  • 朴素定理4：矩阵的列秩=行秩=秩。矩阵的行向量组的秩称为其行秩，列向量组的秩称为其列秩。

  • 朴素定理5：矩阵的秩是其行向量或列向量的极大无关组中包含向量的个数。

• 矩阵秩的求解：

  • 1.将矩阵化为行最简性/梯形阵
  • 2.梯形阵的秩等于其非零行的行数
  • 3.原因解释： 根据秩的定义，在该梯形阵（假设非零行数为k）中取子式时，若要最高阶子式不为零：
    • 最大行数只能等于该梯形阵的非零行k，否则一定会包含零行则子式为0
    • 最大列数一定为k。因为是行列式，所以行数最大为k，又因为是梯形阵，所以一定有一个k列组成的主对角线上元素全不为零，因此行列式必不为0。

• 秩的理解：

  • 一个形象的说法：你们家r口人,然后拍了n张照片. n是矩阵的维度，这个r就是秩了.

  • 一个通俗的说法：矩阵的秩反应了矩阵的结构信息，体现了矩阵中的信息冗余程度，即矩阵中最少包含的可以反映矩阵全部信息的向量数量（其他向量都可以由这些向量来表示，这也是梯形阵的原因）

  • 参考链接1：线性代数中的线性相关或无关到底是什么意思？秩又是什么东西？秩相同意味着什么？ - 知乎 (zhihu.com)

  • 参考链接2：(186条消息) 线性代数：如何最通俗地理解矩阵的「秩」？_寒泉Hq的博客-CSDN博客_矩阵的秩通俗理解

  • 形象举例1： 其中一个很有意思，比如你在一个公司里任职，如果你的工作能被其他人所替代，那么替代你的人和你的关系就是线性相关的，反过来，如果你的工作无人可以替代，那你们这一些不可替代的人就是线性无关的。那么秩的概念也就是你们这一组无可替代的人的人数。我们在工作岗位都是喜欢寻找那些不可替代的精英，在数学上也是一样的。而精英可以不断变动，但是完成一件工作需要的精英人数是固定的，这也就是秩的意义。

  • 形象举例2：
    
    

（6）矩阵的迹

4.伴随矩阵

• 概念：在n阶方阵A中，设$A_{ij}$为矩阵行列式中元素$a_{ij}$所对应的代数余子式，则由元素$A_{ij}$按照如下的排列方式排列成的新的n阶方阵$A^{\ast }$称为方阵A的伴随矩阵。
  
• 重要性质：$A{A}^{\ast }=A^{\ast }A=|A|E$

5.矩阵初等变换

• 矩阵初等变换的定义（初等行变换+初等列变换）：
  

• 理解：矩阵初等变换的本质是对对应方程组的变换，在一个方程组中，交换两个方程的位置、某个方程乘以k、某个方程加上了一个方程的k倍，这个方程组都是与原方程组等价的，所以这就是矩阵初等变换的由来。假设变换前后两个矩阵分别为A、B，则经过初等变换之后，两矩阵等价，记作$A\cong B$。

• 性质：

  • 等价矩阵具有自反性、对称性、传递性
  • 任何一个矩阵都可以经过初等变换化为梯形阵
  • 任何一个矩阵都有等价标准型（矩阵所有等价矩阵中最简单、最标准的矩阵）

6.逆矩阵

• 概念：对于n阶方阵A，若存在n阶矩阵B使得 AB = BA = E，则称B为A的逆矩阵，称A是可逆的，记作$B=A^{-1}$。

• 方阵可逆的充分必要条件：并非每个方阵都是可逆的，方阵可逆的充分必要条件是 $|A|\ne 0$，也就表示n阶方阵A是非奇异矩阵，是满秩矩阵。

• 性质：

  • 逆矩阵是唯一的，记作$A^{-1}$
  • 逆矩阵的求解定义公式： $A^{-1} = $ $\frac{A^{\ast }}{|A|}$（A*为伴随矩阵）
  • 其他性质如下
    

三.向量空间

1.向量的概念

• 定义：在数学中，由$a_1,a_2...a_n$组成的有序数组，称为n维向量。向量按照书写方式可以分为行向量和列向量，二者在计算时并无本质区别。在物理中，向量是个矢量，既有大小又有方向。

• 向量的模长、长度、范数：
  
  ​ 其中： 模长为0的称为零向量，模长为一的称为单位向量。

• 向量的线性运算规律
  

2.向量组的线性相关性

• 线性组合
  

• 线性相关性：设向量组$a_1,a_2...a_n$，若存在一组不全为零的数$k_1,k_2...k_n$使得 $k_1{a}_1+k_2{a}_2+...+k_n{a}_n=0$，则称这个向量组$a_1,a_2...a_n$线性相关。否则就称这组向量线性无关。若一组向量线性相关，其含义为该组向量中至少有一个向量可以由其他向量进行线性表示。

  • 注意点1：可能有一部分向量的组合可由其他向量进行线性表示，也可能有多个向量分别可由其他向量进行线性表示，但至少有一个（系数不为0的那个）！
  • 注意点2：为什么至少有一个而不是任意一个？因为有的向量系数k为0，导致其无法被表示（系数无法除过去），所以不是任意一个！

• 线性相关性的简单推论：

  • 若该向量组只有一个向量：若该向量为零向量，则该向量组线性相关；若为非零向量，则该向量组线性无关。
  • 若该向量组有两个向量：若两向量的对应分量分别成比例，则该向量组线性相关；否则，线性无关
  • 若该向量组包含零向量：则该向量组一定线性相关

• 线性相关性的判定定理：

  • 定理一
    

  • 定理2
    

  • 定理3（重要）
    

  • 推 论：
    

  • 定理4
    

3.向量空间

• 空间向量的基底

  • 空间向量基底的概念：若在n维空间中的一组向量组 $a_1,a_2,...,a_n$ 满足:

    • $a_1,a_2,...,a_n$线性无关
    • n维空间中的向量均可由$a_1,a_2,...,a_n$向量组线性表示

    则称向量组$a_1,a_2,...,a_n$是该n维空间的一组基（底）

  • 向量在基下的坐标：
    

  • 三维空间中的基底：在三维空间中,对于任意三个向量来说，如果它们不在同一平面上，且两两不共线，则在空间中的任意向量都可用它们的线性组合来表示，这三个向量即为空间向量基底。在三维空间中，常用的基底是沿xyz坐标轴分量为1的向量组，即i=(1,0,0),j=(0,1,0),k=(0,0,1)，常见的向量坐标表示也默认是由ijk三分量的线性组合表示。

• 标准化/单位化：将空间一组基底分别同时除以该基向量的模，使得每一个基向量都是单位向量，这组基称为标准基。即$e_a=\frac{a}{|a|}$

• 正交基 ：如果一组基向量之间两两相互正交，则该组基被称为正交基。既是单位向量又是相互正交的一组基被称为单位正交基。

4.向量组的特性

（1）向量的内积/点乘/数量积

• 坐标系表示：设有向量$a=(a_1,a_2,...,a_n),b=(b_1,b_2,...,b_n)$，则$a\cdot b=a_1{b}_1+a_2{b}_2+...+a_n{b}_n$称为向量a与b的内积，其结果是一个标量，记作(a,b)或<a,b>
• 向量表示：对于同一向量空间中的两个向量a,b来说，$a\cdot b=|a||b|\cos \theta$，其中$\theta$为两向量的夹角，向量夹角的范围是[0°,180°]。由定义可得两向量夹角$\theta =\frac{a\cdot b}{|a||b|}$
• 向量内积的性质
  

（2）正交性

• 向量正交定义：若<a,b> = 0，即两向量a和b的内积运算为0，则称向量a与b正交。
  • 性质1：零向量与任何向量正交
  • 性质2：对两个非零向量来说，两向量正交，则两向量垂直
• 正交向量组定义：如果由m个n维非零向量$a_1,a_2,...,a_m$组成的向量组中，任意两个向量相互正交，即满足$<a_i,a_j>=0(i\ne j)$，则称该向量组为正交向量组，简称正交组。
  • 性质1：正交向量组一定线性无关，即正交向量组中的向量不能相互进行线性表示
  • 性质2：线性无关的向量组不一定是正交向量组
  • 性质3：任何线性无关的向量组可以由施密特正交化转化为等价的正交向量组

（3）施密特正交规范化

• 作用：将任意的线性无关向量组转化为一组等价的单位正交向量组（正交化+单位化）
• 规范化定义（先正交化再单位化）：
  

（4）正交矩阵

• 定义：若n阶方阵A，满足$A^{T}A=E$或$A{A}^T=E$，则称A为n阶正交矩阵。
• 性质：
  • 若A为正交矩阵，则 $A^T=A^{-1}$
  • 若A为正交矩阵，则$A^T、A^{-1}$ 也是正交矩阵
  • 若A为正交矩阵，则$|A|=1或|A|=-1$
  • 若A,B均为n阶正交矩阵，则AB与BA也是正交矩阵
  • 矩阵A为正交矩阵的充分必要条件是：A的行（列）向量组为单位正交向量组（重要）

四.方程组求解

1.齐次线性方程组

（1）概念： 常数项全为0的n元线性方程组称为n元齐次线性方程组。设其系数矩阵为A，未知项为X，则其矩阵形式为AX=0。

（2）定理： 对于n元（n个未知数）齐次线性方程组来说：

• 若r(A) = n，则方程组有唯一零解；
• 若r(A) = r < n，则方程组含有n-r个自由元可以随意取值，有无穷多解。其通解为：
  

（3）求解步骤

（4）有关基础解系的推导与理解

​ 将原方程参数矩阵变换为行最简型后，矩阵的非零行为r即方程组的秩r(A) = r；这说明整个方程组去掉冗余的方程之后，剩下r个完全有效的方程来求解未知数。那么现在就有r个方程，应该能求出r个未知数，假设可以表示如下：

​ 其中，$x_1,x_2...x_r$被称为真未知量；$x_{r+1},x_{r+2},...x_n$被称为自由未知量（n-r个）。**其中真未知量可以由自由未知量唯一确定！**所以，要求解方程的通解（基础解系），问题就是如何确定自由未知量的形式？

​ 由于自由未知量$x_{r+1},x_{r+2},...x_n$中的每个分量都可以在实数集R中任意取值，因此自由未知量$x_{r+1},x_{r+2},...x_n$的所有可能取值组合就构成一个向量空间，即 V = {$(x_{r+1},x_{r+2},...,x_n)$ }就构成了一个向量空间$R^{n-r}$ ，其基向量组含有n-r个向量。（基向量的线性组合可以表示向量空间的所有取值），而在这个向量空间中最简单的一组基就是 $e_1,e_2,...,e_{n-r}=(1,0,...),(0,1,...)...(0,...,1)$ 。

​ 对于n-r组$x_{r+1},x_{r+2},...x_n$的基取值来说，就对应着n-r组$x_1,x_2...x_r$取值。由于整个方程组的解应该表示为$(x_1,x_2,...,x_r,x_{r+1},x_{r+2},...x_n)$ ，所以方程组在自由未知量基底下的通解可以分别表示为：

e1: ${\xi }_1=(x_{1}1,x_{2}1,...,x_{r}1,1,0,...,0)$

e2: ${\xi }_2=(x_{1}2,x_{2}2,...,x_{r}2,0,1,...,0)$

…

e(n-r): ${\xi }_{n-r}=(x_1(n-r),x_2(n-r),...,x_r(n-r),0,0,...,1)$

​ 因为$e_1,e_2,...,e_{n-r}$ 线性无关，则对于线性无关向量组来说添加分量仍然线性无关。所以${\xi }_1,{\xi }_2,...,{\xi }_{n-r}$也是线性无关的，并且方程组解空间的任意解向量都可以由${\xi }_1,{\xi }_2,...,{\xi }_{n-r}$线性表示，所以${\xi }_1,{\xi }_2,...,{\xi }_{n-r}$是方程组解空间的一组基基底。方程组的通解可以表示为 $k_1{\xi }_1+k_2{\xi }_2+...+k_{n-r}{\xi }_{n-r}$

（5）含有n个方程的n元齐次线性方程组（特殊）

• 若系数行列式=0：有无穷多解、非零解（不满秩、奇异、不可逆）
• 若行列式不为零：只有唯一零解（满秩、非奇异、可逆）

2.非齐次线性方程组

（1）概念： 对于齐次线性方程组来说，如果其等号右侧的常数项不全为0，则该方程组为非齐次线性方程组

（2）非齐次线性方程组解的情况：

• 系数矩阵：由方程组未知数的系数组成的矩阵称为系数矩阵，记作$A_{m\times n}$
• 增广矩阵：在系数矩阵的右边添上一列，这一列是线性方程组的等号右边的常数项，记作$\genfrac{}{}{0ex}{}{-}{A}$
  

（3）证明：

（4）步骤总结：

五.矩阵的分解

1.矩阵的相似

• 定义：假设A与B都是n阶矩阵，若存在一个n阶可逆矩阵P，使得$B=P^{-1}AP$，则称矩阵A与B相似，记作A~B。可逆矩阵P称为其相似变换矩阵。

• 性质：

  • 满足相似条件的三个矩阵A、B、P都是同阶方阵，且P必须是可逆矩阵。而AB不一定可逆，但AB可逆性相同。
  • 相似矩阵具有自反性、对称性、传递性
  • 矩阵A与其转置矩阵$A^T$相似，具有相同的特征值
  • A~B => $A\cong B$ ，但反之不行（相似与等价的关系）
  • 其他性质
    

• 特殊的相似矩阵（对角阵）：对于相似矩阵来说，矩阵B可能有多个相似矩阵A与其对应，但其中有一种相似比较特殊/简单，就是在$B=P^{-1}AP$ 中A为对角阵的情形。如果可以找到一个相似矩阵A为对角阵，那么该矩阵的相似可以有很多有趣的性质，举个例子如下：
  
  ​ 我们可以发现在这种情况下，对于相似矩阵P中的每一个列向量$x$来说，都有$Ax=kx$，而k恰好为其对角相似矩阵Λ中的每一个对应主对角线元素。对于这种现象，我们觉得他有很大的研究意义，于是我们把x叫做矩阵A的特征向量，k叫做矩阵A的特征值。
  ​ 其实也不用观察规律，我们可以推导一下：因为$B=P^{-1}AP$，所以$PB=AP$，而A为对角矩阵（除主对角线之外其余元素都是0），所以关系式就可以简化为$Bx=kx$（x为矩阵P中的列向量，k为矩阵A中的主对角线元素）

2.特征值与特征向量

• 定义：设A是n阶矩阵，如果存在数λ和n维非零向量x使关系式 $Ax=\lambda x$ 成立，那么则称数λ为矩阵A的特征值，非零向量x为矩阵A对应于特征值λ的特征向量。

• 矩阵特征值与特征向量的求解：

  • 因为 $Ax=\lambda x$ 成立，，所以$Ax-\lambda x=0$ 即 $(A-\lambda E)x=0$
  • 由于x为非零向量，即原表达式可以理解为一个齐次线性方程组要有非零解
  • 所以 $|A-\lambda E|=0$
  • 根据行列式为0，只要行列式有解，n阶矩阵应该可以求出n个特征值λ（λ为n次的，也正好对应相似矩阵主对角线上的n个元素）。当然可能包含重根**（重根也分别对应，不能合并或舍掉任意一个）**，这n个特征值就是组成的A的对角相似矩阵，也叫做特征值矩阵，我们一般将特征值由大到小排列在其主对角线上（当然特征值对应的特征向量也要顺序排列）。
  • 对每一个特征值λ，我们需要求解方程组$(A-\lambda E)X=0$ ，来获取其对应的特征向量。问题就转化为求解齐次线性方程组的解X，我们知道对于这个问题来说，他的解x是有无穷个的，即存在一个基础解系（通解）。在这组基础解系中，任取一个向量都是满足特征向量的性质。所以我们需要先求解该方程组的一组基（自由选择1、0特殊值得到的向量组，他们是线性无关的），即可得到属于这个特征值的全部的特征向量（基础解系，基的线性组合，系数不全为0）。（求解方法：可以带入λ，系数矩阵化为梯形阵求解）。虽然选择任意一个向量都可以作为特征向量，但为了简单，我们一般选择基向量即可。
    • 解出来的基向量：属于特征值λ的线性无关的特征向量
    • 基础解系：属于特征值λ的全部特征向量（组合系数不全为零）

• 性质：

  • 对任意n阶方阵A，属于不同特征值（相异特征值）的特征向量之间线性无关

  • k重特征根不一定对应k个基向量，但基向量的个数一定<=k

  • 相异特征值特征向量与同一特征值线性无关的特征向量组合之间也是线性无关的
    

  • 相似矩阵具有相同的特征值。若A~B，则$|A-\lambda E|=|B-\lambda E|$，即A与B的特征值相同

  • 求解公式
    

  • 关系公式
    

• 特征值和特征向量的几何意义：
  ​ 一个矩阵代表的是一个线性变换规则，而一个矩阵的乘法运算代表的是对一个向量的一个线性变换;引用《线性代数的几何意义》的描述：“矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换(λ倍)，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。”
  矩阵A与向量v相乘，本质上是对向量v进行了一次线性变换（旋转或拉伸），而该变换的效果为常数λ乘以向量v。当我们求特征值与特征向量的时候，就是为了求矩阵A能使哪些向量（特征向量）只发生伸缩变换，而变换的程度可以用特征值λ表示。矩阵变换遵循：左乘是进行初等行变换，右乘是进行初等列变换。

3.矩阵可相似对角化的条件

• 相似对角化和特征值特征向量的区别： 矩阵的行列式只要不为零就有对应的特征值与特征向量，但是求出的特征值与特征向量不一定能构成矩阵的相似矩阵，或者说矩阵不一定可以进行相似对角化（不一定存在对角矩阵作为相似矩阵）。

• 条件：

  • 定理1：n阶矩阵A与对角矩阵相似的充要条件为A有n个线性无关的特征向量。因为相似对角化要求相似转化矩阵P是可逆的，而可逆就要求矩阵的n个列向量（特征向量）线性无关。
  • 定理2：若A有n个互异的特征值（相异特征值的特征向量之间线性无关），则A与对角阵一定相似。但反之不一定。
  • 定理3：
    • 问题：若A有重特征值，则A不一定与对角阵相似（不一定有n个线性无关向量），但只要同一k重特征值能对应求出k个线性无关的特征向量即可（具有k个基）。
    • 思路：
      
    • 定理：
      

• 矩阵相似对角化的步骤
  

4.实对称矩阵的特性

（1）实对称矩阵的特征值与特征向量

• 性质1：n阶实对称矩阵的特征值都是实数。也就是说，n阶实矩阵的特征值不一定为实数（可能为复数）
• 性质2：n阶实对称矩阵的相异特征值所对应的特征向量之间必定正交。对于一般矩阵来说，只能保证相异特征值所对应的特征向量之间线性无关。
• 性质3：n阶实对称矩阵A的k重特征值所对应的线性无关的特征向量恰有k个。所以实对称矩阵A一定与对角阵相似，即一定可以进行相似对角化。

（2）实对称矩阵的相似对角化

• 性质： 除了实对称矩阵一定与对角阵相似，实对称矩阵一定与对角阵正交相似（即相似变换矩阵为正交矩阵）
  • 推导：
    • 1.正交化： 因为对于实对称矩阵来说，其相异特征值的特征向量之间相互正交。而重特征值的特征向量之间可以通过施密特正交化来转化为正交向量（因为施密特正交化方法仍是该基的线性组合，所以正交化后的向量仍为该特征值的特征向量）。这样所有的特征向量之间就相互正交了。
    • 2.单位化： 我们将所有的特征向量进行单位化，结果仍为特征向量。
    • 3.正交矩阵： 处理完后的所有特征向量均为单位向量，且相互正交。由这n个特征向量组成特征值矩阵对应的特征向量矩阵P（相似变换矩阵）就是一个正交矩阵，所以实对称矩阵一定与对角阵正交相似。
• 步骤：
  

5.矩阵特征值分解EVD

• 矩阵可进行特征值分解的条件： 矩阵为n阶方阵且矩阵可进行相似对角化，实对称矩阵一定可以进行特征值分解

• 定义： 对于n阶方阵A，根据特征值和特征向量对方阵A进行矩阵分解，分解为如下形式就称为是特征分解：
  $$A=Q\Sigma Q^{-1}$$
  其中，Q是矩阵A的特征向量组成的矩阵[x1,x2,…,xn]，Σ则是一个对角阵，对角线上的元素就是特征值。我们来分析一下特征值分解的式子，分解得到的Σ矩阵是一个对角矩阵，里面的特征值是由大到小排列的(左上到右下)，这些特征值所对应的特征向量就是描述这个矩阵变换方向（从主要的变化到次要的变化排列)。

• 注意：

  • 进一步得, 当 A 为实对称矩阵的时候, A的特征向量两两正交（正交矩阵），且满足 $A=A^T$ , 那么它可以被分解成如下的形式
    $$A=P\Lambda P^T$$
    其中, P 为单位正交矩阵。
  • 当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线性变换可能没法通过图片来表示，但是可以想象，这个变换也同样有很多的变化方向，我们通过特征值分解得到的前N个特征向量，就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵变换。也就是之前说的：提取这个矩阵最重要的特征。
  • 总结：特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多么重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多事情。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。

6.矩阵奇异值分解SVD

（1）定义

奇异值分解SVD详细推导

（2）证明与推导

• 证明的预备知识：

  • 矩阵变换的秩关系： 对任意矩阵A来说，$R(A)=R(A^T)=R(A^{T}A)=R(A{A}^T)$
    

  • 半正定矩阵的性质： 对任意矩阵A来说，$A^{T}A$为半正定矩阵，半正定矩阵的特征值均为非负实数。

  • 对称矩阵的特征值： n阶实对称矩阵A具有n个特征值。若R(A) = r，则其中包括r个非零特征值，n-r个零特征值
    

  • （标准正交）基扩充：
    

• SVD证明与推导：
  

（3）SVD求解步骤