线性代数基础-快速复习

最新推荐文章于 2024-05-16 08:00:00 发布

Feynman1999

最新推荐文章于 2024-05-16 08:00:00 发布

阅读量3k

点赞数 12

分类专栏： Xiang Talk

本文链接：https://blog.csdn.net/Feynman1999/article/details/95484135

版权

Xiang Talk 专栏收录该内容

16 篇文章 0 订阅

订阅专栏

文章目录

前言
一.行列式
- - 基本概念
二.矩阵
- - 基本概念
  - 矩阵的三种初等变换
三.线性方程组
四.n维向量空间
五.矩阵相似对角形
六.二次型
小结

前言

此文档总结了大学本科本人学习线性代数的一些心得…

其中一二三四是预备姿势，五六是精彩的部分，是现在ML的基础。总的来说，线代作为一种研究工具，简化了表达与计算…

欢迎交流 WeChat ： Feynman1999

Last Update: 2019-07-11

一.行列式

基本概念

任一排列经过一次对换，改变其奇偶性。（考虑以相邻对换作为base case进行证明）
任一个n阶排列都可以经过一系列对换与自然顺序排列12…n互变，并且所做的对换的个数和这个排列的奇偶性相同。
知道行列式的定义求法。
不要局限于行指标的定义，行列式的行列指标地位相同。以此可以证明 $D| = |D^T|$ 。
行列式某行乘k，等于k乘这个行列式。因此某行的公因子可以外提。
行列式一行为0，则行列式值为0
行列式某一行的元素是两项之和，则这个行列式可以拆成两个行列式的和。（可以使用定义证明）
交换行列式两行，值变号。（可用定义和排列的性质证明）
如果行列式有两行完全相同（或成比例），则行列式值为0
把行列式的某一行的倍数加到另一行上，值不变（由上一条、上三条简单证明）
奇数阶反对称行列式为0
余子式和代数余子式的概念
行列式按行展开的代数余子式求法
范德蒙行列式（使用数学归纳法证明）

在这里插入图片描述

n阶行列式的某一行的每个元素与另一行中对应元素的代数余子式乘积的和等于0 （为矩阵的逆提供理论支撑，可通过简单的构造证明）
克莱姆法则，引出线性方程组，初感方便。

二.矩阵

基本概念

如何加减乘，结合律，分配律，不满足交换律，单位矩阵，转置
$AB)^T = B^TA^T$ 可由定义证明
$A^T| = |A|$
$kA| = k^n|A|$
$∣ A B ∣ = ∣ A ∣ ∣ B ∣$
若 $|A|\neq 0$ ，则称 $A$ 为非奇异矩阵（非退化矩阵），否则称为奇异矩阵。
设 $A$ 为n阶方阵，若有n阶方阵 $B$ 使得， $A B = B A = E$ ，则称 $A$ 是可逆的。
矩阵的逆若存在则唯一
伴随矩阵，注意把原先的代数余子式行按列排

在这里插入图片描述

$AA^* = |A|E$
${A^*\over|A|} ) = E$
$(kA)^{-1} = \frac{1}{k} A^{-1}$
$A^T)^{-1} = (A^{-1})^T$
$AB)^{-1} = B^{-1}A^{-1}$
直观理解矩阵分块的思想

矩阵的三种初等变换

互换矩阵的两行
以一个非零数乘以矩阵的某一行
把某一行各元素的k倍加到另一行对应元素上

由单位阵 $E$ 经过一次初等变换得到的矩阵称为初等矩阵，每个初等变换都对应一个初等矩阵（自行想象三种初等矩阵）
初等矩阵是可逆的，逆矩阵也是初等矩阵：

$P(i,j)^{-1} = P(i,j) \\ P(i(c))^{-1} = P(i(\frac{1}{c})) \\ P(i,j(k))^{-1} = P(i,j(-k))$

对一个 $m * n$ 矩阵 $A$ 作一次初等行变换就相当于在 $A$ 的左边乘上相应的 $m * m$ 初等矩阵；对 $A$ 作一次初等列变换就相当于在 $A$ 的右边乘上相应的 $n * n$ 初等矩阵。
如果矩阵 $B$ 可由矩阵 $A$ 经过一系列初等变换得到，则称矩阵 $A$ 与 $B$ 等价，记为 $A\cong B$ 。
等价关系具有反身性，对称性，传递性。
任意一个 $m * n$ 的矩阵 $A$ 都与一个形式为：

$\begin{bmatrix} E_r &0 \\ 0&0 \end{bmatrix}$

的矩阵等价 $(0\leq r \leq min(m,n))$ ，这里 $D$ 称为矩阵 $A$ 的标准形。具体操作方法是，迭代地将所在行列置为零。

如果对矩阵只做初等行变换，未必能化成标准形，但可以化成阶梯形矩阵（不能连续下两个台阶）。
$n$ 阶方阵 $A$ 可逆的充分必要条件是 $A$ 的标准形为 $E_n$ 。
$n$ 阶方阵 $A$ 可逆的充分必要条件是 $A$ 能表示成一些初等矩阵的乘积。
可逆矩阵总可以经过一系列的初等行变换化成单位矩阵。
利用上述结论，求矩阵的逆。将矩阵变为单位矩阵的那些行变换，作用在单位阵上即为原矩阵的逆。
$A$ 的一切非零子式的最高阶数称为矩阵 $A$ 的秩，记为 $r (A)$ 。
矩阵 $A$ 经过初等变换后不改变它的秩（即等价矩阵有相同的秩）。
设

$\begin{bmatrix} E_r &0 \\ 0&0 \end{bmatrix}$

是矩阵 $A$ 的标准形，则 $r (A) = r$ 。 因此，求矩阵的秩，可以将其化为标准形，看其中1的个数。

对角矩阵，准对角矩阵，上下三角矩阵，对称矩阵，反对称矩阵的概念。

三.线性方程组

注意线性方程组的矩阵形式 $\beta$ 。
线性方程组的初等变换（初中）相当于对此方程组的增广矩阵进行初等行变换（解不变）。
齐次线性方程组中，如果方程的个数 $s < n$ ，则必有非零解。
明白什么是线性组合，什么是向量（组）可由向量组线性表示。
若两个向量组可以互相线性表示，则称它们等价。向量组之间的等价关系具有反身性，对称性，传递性。
向量组的线性相关。
含有零向量的向量组一定线性相关。
$n$ 维单位向量组 $\varepsilon_1,...,\varepsilon_n$ 线性无关。
一个向量组线性相关的充要条件是：其中有一个向量可以用其余向量线性表示。
大向量组线性无关，小向量组一定也线性无关。
如果一个大向量组可由一个小向量组线性表示，则大向量组线性相关。因此如果想由向量组 $\beta$ ，表示其他向量组 $\alpha$ ，而且 $\alpha$ 线性无关，则 $|\alpha|\le |\beta|$ 。
由上一条知，两个线性无关的等价的向量组含有相同个数的向量。
极大线性无关组的概念。
向量组的极大线性无关组所含向量的个数称为这个向量组的秩。
等价的向量组有相同的秩。
线性方程组解的结构：（基础解系中向量个数为 $n - r$ ）

在这里插入图片描述

四.n维向量空间

明白什么是子空间
明白什么是由 $\alpha_1,...,\alpha_s$ 生成的子空间 $L(\alpha_1,...,\alpha_s)$
$L(\alpha_1,...,\alpha_s)$ 是 $P^n$ 的包含 $\alpha_1,...,\alpha_s$ 的最小子空间。
$V$ 的一个基底 $\alpha$ 线性无关，且 $L(\alpha_1,...,\alpha_r)$ ， $r$ 称为子空间 $V$ 的维数 ( $P^n, r\le n$ )。
子空间 $V$ 可以看成一个特殊的向量组，它的基底就是它的一个极大线性无关组，它的维数就是它作为向量组的秩。
基底的重要意义： $V$ 中的每一个向量都可以唯一地表示成基底向量的线性组合。（引出坐标）
向量坐标的确定依赖于基底的选择，所以离开基底来谈坐标是没有意义的。
维 $L(\alpha_1,...,\alpha_s)$ = 秩 $(\alpha_1,...,\alpha_s)$
设 $V$ 是 $P^m$ 的一个 $n$ 维子空间 $(n\le m)$ ， $\alpha_1,...,\alpha_n;\beta_1,...,\beta_n$ 是 $V$ 的两个基底。

在这里插入图片描述
最右边的矩阵称为 $\alpha$ 到 $\beta$ 的过渡矩阵。

过渡矩阵一定可逆。
由过渡矩阵导出不同基底下坐标的变换公式。
内积的定义、向量模长的定义 $|\alpha| = \sqrt{(\alpha, \alpha)}$ ，单位向量 $|\alpha| = 1$ ，若 $\alpha \neq 0$ ，则 $\frac{\alpha}{|\alpha|}$ 是单位化的向量。
$|(\alpha,\beta)| \le |\alpha||\beta|$ ，其中等号成立的充要条件是 $\alpha,\beta$ 线性相关。 Cauchy不等式
$|\alpha + \beta|\le |a| + |\beta|$
规定 $\alpha$ 和 $\beta$ 之间的夹角为

$<\alpha,\beta> = arccos\frac{(\alpha,\beta)}{|\alpha||\beta|}, \quad 0\le \ <\alpha,\beta> \ \le \pi$

若 $(\alpha,\beta) = 0$ ，则称向量 $\alpha,\beta$ 正交或垂直。
当 $\alpha,\beta$ 正交时，我们有 $|\alpha + \beta|^2 = |\alpha|^2 + |\beta|^2$
正交向量组是线性无关的，正交基底、标准正交基底的概念
施密特(Schmidt)正交化方法：

在这里插入图片描述
设 $A∈R^{n*n}$ ，如果 $AA^T = A^TA = E$ ，则称 $A$ 为正交矩阵。

若 $A$ 为正交矩阵，则 $∣ A ∣ = \pm 1$
若 $A$ 为正交矩阵，则 $A^{-1},A^T,A^*$ 均为正交矩阵
若 $A, B$ 是正交矩阵，则 $A B$ 也是正交矩阵
A为正交矩阵的充分必要条件是A的行（列）向量组是单位正交向量组 ，即 $n$ 阶正交矩阵的行（列）向量组是欧式空间 $R^n$ 的一个标准正交基底。
标准正交基底到标准正交基底的过渡矩阵是正交矩阵。

五.矩阵相似对角形

特征值与特征向量

设 $A∈P^{n*n}$ ，如果存在数 $\lambda_0∈P$ 及非零列向量 $\alpha∈P^n$ ，使得 $A\alpha = \lambda_0\alpha$ ，则称 $\lambda_0$ 为 $A$ 的特征值， $\alpha$ 为 $A$ 的属于 $\lambda_0$ 的特征向量。

确定特征值与特征向量的方法：

写出 $A$ 的特征多项式 $|\lambda E-A|$ ；
求出 $|\lambda E-A|$ 在 $P$ 中的全部的根，它们就是 $A$ 的全部特征值；
把每个特征值带入方程组 $(\lambda_0E - A)X =0$ ，求出它的基础解系，基础解系所含向量就是该特征值对应的线性无关的特征向量。

设 $A=(a_{ij})∈C^{n*n}$ ， $\lambda_1,\lambda_2,...,\lambda_n$ 为 $A$ 的全部特征值，则
$\lambda_1 + \lambda_2 +...+\lambda_n = a_{11} + a_{22} +...+a_{nn}\quad 迹trace\\ \lambda_1 * \lambda_2 *...*\lambda_n = |A|$
设 $\lambda_0$ 是 $A$ 的一个特征值，令
$V_{\lambda_0} = \{\alpha∈P^n | A\alpha = \lambda_0\alpha\}$
则 $V_{\lambda_0}$ 恰为齐次线性方程组
$(\lambda_0E - A)X = 0$
的解空间，我们称 $V_{\lambda_0}$ 为 $A$ 的属于 $\lambda_0$ 的特征子空间。

因此，**维 $V_{\lambda_0} = n - r(\lambda_0E - A)$ **

矩阵 $A$ 的属于不同特征值的特征向量线性无关 可使用数学归纳法证明

矩阵的相似

$A, B$ 为方阵，若存在 $n$ 阶可逆矩阵，使得 $B = X^{-1}AX$ ，则称 $A$ 相似于 $B$ ，记作 $A\sim B$

相似关系具有反身性、对称性、传递性
相似矩阵有相同的特征多项式 （反之不成立）
设 $A∈C^{n*n}$ ， $\lambda_0$ 是 $A$ 的 $k$ 重特征值， $V_{\lambda_0}$ 是 $A$ 的属于 $\lambda_0$ 的特征子空间，则

$维V_{\lambda_0} \leq k$

如果 $A$ 相似于一个对角形矩阵，则称 $A$ 可对角化。
$A$ 可对角化的充要条件是 $A$ 有 $n$ 个线性无关的特征向量 $\alpha_1,\alpha_2,...,\alpha_n∈P^n$ , 将特征向量按列摆放即为 $Q$

在这里插入图片描述

$A$ 可对角化的充要条件是 1. $A$ 的特征值都在 $P$ 内 2. $A$ 的全部特征子空间维数之和为 $n$

实对称矩阵的对角形

定理实对称矩阵的特征值都是实数。（思考，不仅要对称，而且要 $A∈R^{n*n}$ ）

实对称矩阵的不同的特征值的特征向量是正交的 （在线性无关的基础上还正交，注意是不同特征值的）

设A是 $n$ 阶实对称矩阵，则存在正交矩阵Q，使得 $Q^{-1}AQ = Q^{T}AQ$ 为对角形矩阵。

下面给出求正交矩阵 $Q$ 的方法：

**1.**求出对称矩阵A的特征值，设 $\lambda_1,\lambda_2,...,\lambda_r$ 是 $A$ 的全部互不相同的特征值。（那么这些特征值对应的特征向量是正交的）

**2.**对每个特征值 $\lambda_i$ ，解齐次线性方程组
$(\lambda_iE - A)X = 0$
求出一个基础解系 $\alpha_{i1},...,\alpha_{ik_i}$ ，（显然他们是线性无关的），将其正交化（解析间一定是正交的，解析内用斯密特方法），单位化，得到 $V_{\lambda_i}$ 的一个标准正交基底 $\eta_{i1},...,\eta_{ik_i}$
**3.**每个特征值（个数不一定为 $n$ ，因为有重根）对应的这些标准正交基底（个数之和应为 $n$ ，因为实对称矩阵的几何重数等于代数重数），作为列向量拼成的矩阵即为 $Q$ 。（可见 $Q$ 是不唯一的）

简单来说，实对称矩阵一定可以对角化，而一般矩阵不行（几何重数不一定等于代数重数），且 $Q$ 为正交矩阵。（关键性质：不同特征值对应的特征向量一定正交）

六.二次型

二次型与线性替换、合同

设 $P$ 是一个数域，一个系数在P中的 $x_1,x_2,...,x_n$ 的二次齐次多项式：
$f(x_1,x_2,...,x_n) = \sum_{1\le i\le j\le n}b_{ij}x_ix_j$
称为数域 $P$ 上的一个 $n$ 元二次型、或简称二次型。

二次型很常用，其系数可以自然地写成对称矩阵的形式。因此有：
$f(x_1,x_2,...,x_n)= X^TAX$
$X$ 是 $n * 1$ 的向量。（注意这里A必须是对称阵）

系数矩阵 $A$ 的秩称为二次型 $f(x_1,x_2,...,x_n)$ 的秩。

我们称一个线性替换矩阵 $C$ ，作用在 $Y$ 上，即 $X = C Y$ 。如果 $∣ C ∣$ 不等于0，则称上述变换为非退化线性替换。
考虑对二次型中的 $X$ 进行替换，有 $f = (CY)^TA(CY) = Y^TC^TACY = Y^TBY$ ，其中 $B = C^TAC$ ，可见 $B$ 也是对称矩阵。
这表明，二次型经过非退化线性变换仍变成二次型，且秩相等。变换前后的两个二次型的矩阵关系是：

$B = C^TAC$

定义设 $A, B$ 是数域 $P$ 上的两个 $n$ 阶方阵，如果存在 $P$ 上的 $n$ 阶可逆矩阵 $C$ ，使得 $B = C^TAC$ ，则称 $A$ 和 $B$ 合同，记为 $A\simeq B$ ，合同也具有反身、对称、传递性。

现在的目的是找出一个非退化线性替换，通过它，将原二次型变成只含新变量的平方项的二次型，这一点能否用通用的方法做到呢？

定理任意一个二次型都可以经过非退化的线性替换变成平方和的形式，这个形式称为 $f$ 的一个标准型。

（使用配方、替换法）若一开始没有平方项，要利用平方差公式产生平方项

上述定理，用矩阵的语言可以叙述为：数域P上的任意一个对称矩阵都合同于一个对角型矩阵。

即存在线性变换矩阵 $C$ ，使得 $B = C^TAC$ ， $B$ 为对角矩阵。

但用配方法化简二次型不太方便（不过一定可以做），为了使做法更为简便以及理论更清楚，给出初等变换法：

定理数域 $P$ 上的任意一个对称矩阵都可用某些同类型（行列号对应）的行、列初等变换化为对角阵。将其中的列变换作用到 $E$ 上便得到 $C$ 。

tips: 对于一个初等矩阵 $Q$ ， $Q$ 和 $Q^T$ 是同一类型的初等矩阵。即 $Q$ 乘在右边（如果表示第 $i$ 列的 $k$ 倍加到第 $j$ 列），则 $Q^T$ 乘在左边就表示第 $i$ 行的 $k$ 倍加到第 $j$ 行

二次型的标准形不是唯一的，即对称矩阵 $A$ 可能会合同于多个不同的对角矩阵。

标准形与规范形

在这里插入图片描述

规范形是否唯一呢？也就是说一个对称阵合同的一个对角阵，其中对角线的正负个数是否均不变呢？答案是肯定的。即一个二次型对应的规范形中的正项个数 $p$ 是唯一的，负项个数 $r - p$ 也是唯一的。
上述结论称为惯性定理。

正定与正交线性替换

若对任意非零的 $n$ 维实向量 $X$ ，恒有 $X^TAX>0$ ，则称 $f(x_1,x_2,...,x_n)$ 为正定二次型。

一个正定二次型经非退化的线性替换变成的二次型仍为正定的
$n$ 元实二次型 $f(x_1,x_2,...,x_n)$ 正定的充分必要条件是它的正惯性指数为 $n$
正定二次型 $f(x_1,x_2,...,x_n)$ 的规范形为 $y_1^2+y_2^2+...+y_n^2$
由上一条知，实对称矩阵 $A$ 正定的充分必要条件是 $A$ 与单位矩阵 $E$ 合同
如果二次型 $X^TAX$ 是正定的，则称实对称矩阵 $A$ 为正定的
正定矩阵的行列式大于零 证明：存在可逆矩阵 $C$ ，有 $A = C^TEC=C^TC$ ，因此 $∣ A ∣ > 0$
实二次型 $f(x_1,x_2,...,x_n)=X^TAX$ ，正定的充分必要条件是 $A$ 的各阶顺序主子式全大于零。
上面一条可以辅助解题(●∀●)
设 $A$ 是 $m$ 阶正定矩阵， $B$ 为 $m * n$ 实矩阵，求证： $B^TAB$ 是正定矩阵的充要条件是 $r (B) = n$
半正定、负正定的概念
对于一个实二次型 $f(x_1,x_2,...,x_n) = X^TAX$ ，下面的条件是等价的：
- $f(x_1,x_2,...,x_n)$ 是半正定的；
- 它的正惯性指数与秩相等；（如果是正定的，则满秩）
- 存在可逆实矩阵 $C$ ，使得 $C^TAC = B$ ， $B$ 为对角矩阵，且对角线元素不小于0；
- 存在实矩阵 $D$ ，使得 $A = D^TD$ 。（注意这里 $∣ D ∣ = 0$ ）
在线性替换中，如果系数矩阵 $C$ 是正交矩阵，则称为正交线性替换。
设 $f(x_1,x_2,...,x_n)=X^TAX$ 是一个实二次型，则一定存在正交线性替换 $X = C Y$ 使得

$f(x_1,x_2,...,x_n) = \lambda_1y_1^2+\lambda_2y_2^2+...+\lambda_ny_n^2$

其中 $\lambda_1,\lambda_2,...,\lambda_n$ 是 $A$ 的全部特征值（由第五章可知）。 由特征值可以判断矩阵的正定情况

小结

三大关系：等价（初等变换）、合同（初等变换行列一起做）、相似（左乘右乘的逆）

分别对应矩阵的秩不变，矩阵的特征值的正负分布不变，矩阵的特征值不变。

从弱到强，合同可以看成等价的特例，相似可以看成合同的特例（仅仅对于实对称矩阵，这样才能保证正交， $C^{-1}=C^T$ ）。

Feynman1999

关注

12
点赞
踩
35

收藏

觉得还不错? 一键收藏
0
评论
线性代数基础-快速复习

文章目录前言一.行列式基本概念二.矩阵基本概念矩阵的三种初等变换三.线性方程组四.n维向量空间五.矩阵相似对角形特征值与特征向量矩阵的相似实对称矩阵的对角形六.二次型二次型与线性替换、合同标准形与规范形正定与正交线性替换小结前言此文档总结了大学本科本人学习线性代数的一些心得…其中一二三四是预备姿势，五六是精彩的部分，是现在ML的基础。总的来说，线代作为一种研究工具，简化了表达与计算…欢迎...
复制链接

扫一扫