线性代数笔记

线性代数笔记

本笔记仅用作个人使用，主要目的是捡起大一几何与代数的知识，顺带把线性代数给学好。前置知识包括方程组的计算（中学）；高斯消元；矩阵乘法。
基于MIT Strang教授线性代数课程和丁坤博覃立波的笔记而来，如有不妥或侵权请指出，我会及时修改。

【20220726】进度：20/34，争取至少两天一更，每次更3/34。

1 方程组的几何解释

以如下方程组为例：
$$\{\begin{array}{rlr}2x-y& =& 0,\\ -x+2y& =& 3.\end{array}$$
对方程组我们有两种解释：
（1）二维的行图像：按行提取出每一条直线。即我们很早学到的两个一元一次方程（两条直线）的几何表述，其解就是交点。
（2）二维的列图像：按列提取出每一个向量，求解的过程实际上就是在求一组合适线性组合，使其能够组合(2,-1)和(-1,2)两个向量，并获得(0,3)。

相似的，对如下矩阵乘法也有两种解释：
$A=\left[\begin{array}{cc}2& 5\\ 1& 3\end{array}\right],x=\left[\begin{array}{c}1\\ 2\end{array}\right]$
（1）$Ax=\left[\begin{array}{cc}2& 5\\ 1& 3\end{array}\right]\left[\begin{array}{c}1\\ 2\end{array}\right]=1\left[\begin{array}{c}2\\ 1\end{array}\right]+2\left[\begin{array}{c}5\\ 3\end{array}\right]=\left[\begin{array}{c}12\\ 7\end{array}\right]$
（2）$Ax=\left[\begin{array}{cc}2& 5\\ 1& 3\end{array}\right]\left[\begin{array}{c}1\\ 2\end{array}\right]=\left[\begin{array}{c}(2,5)\cdot (1,2)\\ (1,3)\cdot (1,2)\end{array}\right]=\left[\begin{array}{c}12\\ 7\end{array}\right]$

2 矩阵消元

基本的消元方法和初中学到的基本一致，不再赘述。接下来主要借助例子来介绍概念。
【例】
$\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}2\\ 12\\ 2\end{array}\right]$

2.1 增广矩阵
可以通过增广矩阵的消元来求解该方程组，所谓增广矩阵，即把两个矩阵拼起来：$\left[\begin{array}{cccc}1& 2& 1& 2\\ 3& 8& 1& 12\\ 0& 4& 1& 2\end{array}\right]$，消元后得$\left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 0& 5& -10\end{array}\right]$，而后直接从下向上回代求解即可。

2.2 向量和矩阵的乘法
本节用到的所有向量均默认为列向量。
矩阵列的线性组合：
$\left[\begin{array}{c}{\mathbf{a}}^T,{\mathbf{b}}^T,{\mathbf{c}}^T\end{array}\right]\left[\begin{array}{c}3\\ 4\\ 5\end{array}\right]=\left[\begin{array}{c}3{\mathbf{a}}^T,4{\mathbf{b}}^T,5{\mathbf{c}}^T\end{array}\right]$
矩阵行的线性组合：
$\left[\begin{array}{c}3,4,5\end{array}\right]\left[\begin{array}{c}\mathbf{a}\\ \mathbf{b}\\ \mathbf{c}\end{array}\right]=\left[\begin{array}{c}3\mathbf{a}\\ 4\mathbf{b}\\ 5\mathbf{c}\end{array}\right]$
2.3 操作矩阵
(1)消元矩阵
【例】$3\times 3$矩阵的第二行*(-2)再加到第三行，对应的消元矩阵为：
$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -2& 1\end{array}\right]$
(2)行列变换矩阵：
左乘-行变换：
$\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]=\left[\begin{array}{cc}c& b\\ a& b\end{array}\right]$
右乘-列变换：
$\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}b& a\\ d& c\end{array}\right]$

3 逆矩阵

如果方阵$\mathbf{A}$可逆，则有${\mathbf{A}}^{-1}$使得$\mathbf{A}{\mathbf{A}}^{-1}=I={\mathbf{A}}^{-1}\mathbf{A}$。

不可逆的矩阵例如：(a)非方阵；(b)行列式为0的方阵。
若存在非零向量$\mathbf{x}$使得$\mathbf{Ax}=0$，则$\mathbf{A}$不可逆。可用反证法证明：${\mathbf{A}}^{-1}\mathbf{Ax}=\mathbf{x}$根据结合律即可证明。

求矩阵的逆，例如：
$\left[\begin{array}{cc}1& 3\\ 2& 7\end{array}\right]$，即求得矩阵满足：$\left[\begin{array}{cc}1& 3\\ 2& 7\end{array}\right]\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]={\mathbf{I}}_2$
可以用如下方法：

3.1 高斯-若尔当消元（Gauss-Jordan Elimination）
$\left[\begin{array}{cc}1& 3\\ 2& 7\end{array}\right]\left[\begin{array}{c}a\\ c\end{array}\right]=\left[\begin{array}{c}1\\ 0\end{array}\right]$和$\left[\begin{array}{cc}1& 3\\ 2& 7\end{array}\right]\left[\begin{array}{c}b\\ d\end{array}\right]=\left[\begin{array}{c}0\\ 1\end{array}\right]$，相应的增广矩阵为$\left[\begin{array}{cccc}1& 3& 1& 0\\ 2& 7& 0& 1\end{array}\right]$而后对增广矩阵消元，使其从$[\mathbf{A}|\mathbf{I}]$变成$[\mathbf{I}|\mathbf{B}]$的形式，即为$\left[\begin{array}{cccc}1& 0& 7& -3\\ 0& 1& -2& 1\end{array}\right]$，逆矩阵即为：$\left[\begin{array}{cc}7& -3\\ -2& 1\end{array}\right]$。

3.1 逆矩阵的性质
${\mathbf{AB}}^{-1}={\mathbf{B}}^{-1}{\mathbf{A}}^{-1}$
$(\mathbf{A}{\mathbf{A}}^{-1}{)}^T=({\mathbf{A}}^{-1}{)}^{\mathbf{T}}{\mathbf{A}}^{\mathbf{T}}$
$({\mathbf{A}}^{-1}{)}^T=({\mathbf{A}}^T{)}^{-1}$（转置和求逆顺序可颠倒）

4 A的LU分解

【例】
已知${\mathbf{E}}_{32}{\mathbf{E}}_{31}{\mathbf{E}}_{21}\mathbf{A}=\mathbf{U}，{\mathbf{E}}_{32}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -5& 1\end{array}\right]，{\mathbf{E}}_{21}=\left[\begin{array}{ccc}1& 0& 0\\ -2& 1& 0\\ 0& 0& 1\end{array}\right]，{\mathbf{E}}_{31}=I$，求$A=LU$分解后的L：
$\mathbf{A}={{\mathbf{E}}_{21}}^{-1}{{\mathbf{E}}_{31}}^{-1}{{\mathbf{E}}_{32}}^{-1}\mathbf{U}$，即可得到$\mathbf{L}={{\mathbf{E}}_{21}}^{-1}{{\mathbf{E}}_{31}}^{-1}{{\mathbf{E}}_{32}}^{-1}$

5 转置-置换-向量空间R

对称阵：满足${\mathbf{A}}^T=\mathbf{A}$，进一步的有${\mathbf{A}}^T\mathbf{A}$必为对称阵。
置换矩阵：由单位阵通过行变换而来的矩阵，对于3阶则有3!个置换阵，对于n阶则有n!个置换阵。
应用：在进行高斯消元之前，需要通过行变换调整主元位置，因此LU分解的完整形式应为：
$\mathbf{PA}=\mathbf{LU}$
线性空间：空间对线性操作（相加、数乘）封闭。
$R^2$的子空间：$R^2$整体；任意通过原点的直线；原点。
$R^3$的子空间：$R^3$整体；任意通过原点的平面；任意通过原点的直线；原点。

6 列空间和零空间

任意两个子空间的交，一定是子空间。
任意两个子空间的并，不一定是子空间。

【例】以$R^3$为例，子空间包括：$R^3$整体；任意通过原点的平面P；任意通过原点的直线L；原点。那么$P\cup L$不满足子空间封闭性要求，但$P\cap L$满足（仅为原点）。
6.1 列空间：矩阵中列向量的线性组合。
6.2 零空间：$Ax=0$的所有解构成的空间。

7 求解Ax=0 主变量 特解

【例】$\mathbf{A}=\left[\begin{array}{cccc}1& 2& 2& 2\\ 2& 4& 6& 8\\ 3& 6& 8& 10\end{array}\right]$，求Ax=0中x构成的零空间。
$\left[\begin{array}{cccc}1& 2& 2& 2\\ 2& 4& 6& 8\\ 3& 6& 8& 10\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=0$
（1）先进行高斯消元，得到：$\left[\begin{array}{cccc}1& 2& 2& 2\\ 0& 0& 2& 4\\ 0& 0& 0& 0\end{array}\right]$，A矩阵的秩$r(A)=2$。主元（主变量）为$x_1,x_3$，自由变量为$x_2,x_4$。
（2）回代：自由变量设置为两个非共线二维向量$\left[\begin{array}{c}{x}_2\\ x_4\end{array}\right]=\left[\begin{array}{c}1\\ 0\end{array}\right]$，$\left[\begin{array}{c}{x}_2\\ x_4\end{array}\right]=\left[\begin{array}{c}0\\ 1\end{array}\right]$，而后回代得到解向量为：
$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right]=\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]$，$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right]=\left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]$。
故子空间为：$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right]=c\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]+d\left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]$。

7.1 简化行阶梯形式
消元+列变换使得矩阵变成$R=\left[\begin{array}{cc}I& F\\ 0& 0\end{array}\right]$的形式，即为简化行阶梯形式。
上【例】中的简化行阶梯形式即为$\left[\begin{array}{cccc}1& 0& 2& -2\\ 0& 1& 0& 2\\ 0& 0& 0& 0\end{array}\right]$，满足上述形式$R=\left[\begin{array}{cc}I& F\\ 0& 0\end{array}\right]$。

7.2 零空间的结构
故求$Rx=\left[\begin{array}{cc}I& F\\ 0& 0\end{array}\right]\left[\begin{array}{c}{x}_{主}\\ x_{自由}\end{array}\right]=RN=0$，则零空间$N=\left[\begin{array}{c}-F\\ I\end{array}\right]$。
7.3 特解
零空间中的各列即为特解。

8 Ax=b 的可解性和解的结构

8.1 Ax=b可解的条件
(1) 列空间角度：b属于A的列空间时成立；
(2) 线性组合角度：b是A各列的线性组合。

8.2 Ax=b的解
仍以第6节例子解释：
【例】$\mathbf{A}=\left[\begin{array}{cccc}1& 2& 2& 2\\ 2& 4& 6& 8\\ 3& 6& 8& 10\end{array}\right],\mathbf{b}=\left[\begin{array}{c}1\\ 5\\ 6\end{array}\right]$。
（1）先对增广矩阵作高斯消元：$\left[\begin{array}{ccccc}1& 2& 2& 2& 1\\ 0& 0& 2& 4& 3\\ 0& 0& 0& 0& 0\end{array}\right]$
令自由元$x_2=x_4=0$，获得特解：$\left[\begin{array}{c}-2\\ 0\\ \frac{3}{2}\\ 0\end{array}\right]$
（2）第6节已经给出：子空间为$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right]=c\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]+d\left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]$。
（3）故结果为特解+零空间的任意向量：$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right]=\left[\begin{array}{c}-2\\ 0\\ \frac{3}{2}\\ 0\end{array}\right]+c\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]+d\left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]$。
8.3 A的秩与解的关系
对于$m\times n$的矩阵$\mathbf{A}$：
1.列满秩(n<m)：无自由元，因此有解且唯一或无解；
2.列满秩(n<m)：有n-m个自由元，有无穷多解；
3.行列满秩(n=m)：经过消元必可以化为单位阵，无自由元，有唯一解；
4.不满秩(r<n,r<m)：不满足可解条件或有无穷多解（特解+零空间所有向量）。

9 线性相关性 基 维数

9.1 线性相关性
对于$m\times n$的矩阵$\mathbf{A}$
（一）线性组合定义法
线性无关：除全零系数外，没有其他线性组合方式可以得到零向量；
线性相关：除全零系数外，存在其他线性组合方式可以得到零向量。
p.s. 向量组中如果含有零向量，则向量组一定线性相关。
（二）零空间定义法
线性无关：矩阵$\mathbf{A}$的零空间仅有零向量；
线性相关：矩阵$\mathbf{A}$的零空间不仅仅有零向量。
（三）秩定义法
线性无关：$\mathbf{A}$的秩等于n；
线性相关：$\mathbf{A}$的秩小于n。

9.2 基
生成空间：把向量组的所有线性组合放到一个空间中，这个空间即为生成空间。
基：对于一组向量$v_1,v_2,...,v_n$有如下性质：
（1）$v_1,v_2,...,v_n$线性无关；
（2）$v_1,v_2,...,v_n$能够生成整个空间。
性质：
${\mathbb{R}}^n$中的$n$个向量构成基，则以这$n$个向量构成的$n\times n$必须可逆（即意味着任意两行、任意两列都线性无关）。

9.3 维数
上述定义中，${\mathbb{R}}^n$中的$n$即为维数，即基向量的个数。

10 四个基本子空间

对于$m\times n$的矩阵$\mathbf{A}$
10.1 列空间 $C(\mathbf{A})$
对于秩为$r$，则列空间维数为$r$，基向量有$r$个。列变换前后矩阵的列空间不变。
10.2 零空间 $N(\mathbf{A})$
对于秩为$r$，则零空间维数为$n-r$，基向量有$n-r$个。
10.3 行空间 $C({\mathbf{A}}^T)$
通过行变换后，获得秩为$r$，则行空间维数为$r$，基向量有$r$个。行变换前后矩阵的行空间不变。
10.4 左零空间 $N({\mathbf{A}}^T)$
实际上定义认为${\mathbf{y}}^T\mathbf{A}=0$构成的$\mathbf{y}$被称为左零空间。但也可转置该式，理解为${\mathbf{A}}^T\mathbf{y}=0$。
【例】求矩阵的左零空间：$\mathbf{A}=\left[\begin{array}{cccc}1& 2& 3& 1\\ 1& 1& 2& 1\\ 1& 2& 3& 1\end{array}\right]$.
（1）要确定$\mathbf{A}$的左零空间维度，需算出行最简矩阵$\mathbf{R}$。
（2）计算$\mathbf{EA}=\mathbf{R}$：使用高斯-若尔当消元法：
[$\mathbf{A}$ $\mathbf{I}$]$\to$[$\mathbf{R}$ $\mathbf{E}$]
得：
$\mathbf{E}=\left[\begin{array}{ccc}-1& 2& 0\\ 1& -1& 0\\ -1& 0& 1\end{array}\right]$，$\mathbf{R}=\left[\begin{array}{cccc}1& 0& 1& 1\\ 0& 1& 1& 0\\ 0& 0& 0& 0\end{array}\right]$.
发现$\mathbf{R}$最下面一行为全零，则取出$\mathbf{E}$的最下面一行，即：
$\left[\begin{array}{ccc}-1& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 2& 3& 1\\ 1& 1& 2& 1\\ 1& 2& 3& 1\end{array}\right]=\left[\begin{array}{cccc}0& 0& 0& 0\end{array}\right]$。
这样，$\left[\begin{array}{ccc}-1& 0& 1\end{array}\right]$就是矩阵$\mathbf{A}$的左零空间的基向量。

11 矩阵空间 秩1矩阵

11.1 矩阵空间
假设所有$3\times 3$的矩阵构成一个空间$M$，那么$M$的合法的两个子空间是：对称阵$S$、上三角阵$U$。它们分别满足子空间的线性闭合。（两个对称阵相加仍然是对称阵，两个上三角相加仍是上三角）
$S$和$U$存在相交区域的子空间，即：对角矩阵$D$。
11.1.1 矩阵空间的基与维数
$M$的基为$\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$…$\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right]$，它的维数为9。

$S$的基为$\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ 0& 0& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 1& 0& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right]$，它的维数为6。

$U$的基为$\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 0& 0\\ 1& 0& 0\\ 0& 0& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 1& 0& 0\end{array}\right]$，它的维数为6。

$D$的基为$\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]$$\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right]$，它的维数为3，$dim(S\cap U)=3$。

11.1.2 “和”空间
定义空间$S+U$，包含二者的所有线性组合。这里$S+U=M$（注意这里不是并空间）。
有等式$dim(S)+dim(U)=dim(S\cap U)+dim(S+U)$

11.1.3 应用：微分方程
解微分方程$\frac{d^{2}y}{d{x}^2}+y=0$。
只考虑实数范围，对于二阶方程，找到两个特解：$y=\sin x,y=\cos x$，所有的解即为线性组合：$y=c_1\cos x+c_2\sin x$，该解空间满足线性运算封闭条件；维数为$2$。

11.2 秩1矩阵
【例】矩阵$\mathbf{A}=\left[\begin{array}{ccc}1& 4& 5\\ 2& 8& 10\end{array}\right]$，该矩阵秩为1，可被分解为：$\mathbf{A}=\left[\begin{array}{c}1\\ 2\end{array}\right]\left[\begin{array}{ccc}1& 4& 5\end{array}\right]$。
因此秩为1的矩阵均可写为$\mathbf{A}=\mathbf{U}{\mathbf{V}}^T$

所有同秩矩阵（$R>0$）不能组成空间，因为其中必不含零向量。
$R(A+B)\le R(A)+R(B)$

12 图和网络

本节主要以电路为例进行讲解，个人认为很有意思，建议去看原视频：

假定一个矩阵，它的每一行代表每条边，-1代表出发点，+1代表结束点；那么上图变为：
$\mathbf{A}=\left[\begin{array}{cccc}-1& 1& 0& 0\\ 0& -1& 1& 0\\ -1& 0& 1& 0\\ -1& 0& 0& 1\\ 0& 0& -1& 1\end{array}\right]$.
实际意义1：
令$\mathbf{x}$为各点电势，求解$\mathbf{Ax}=0$，得到的结果即为各点之间电势差为0时所需要满足的电势条件。
实际意义2：
令$\mathbf{y}$为各边电流值，求解左零空间${\mathbf{A}}^{\mathbf{T}}\mathbf{y}=0$，得到的结果即满足基尔霍夫电流定律。

14 正交向量和子空间

向量正交：两个向量满足${\mathbf{x}}^{\mathbf{T}}\mathbf{y}=0$，则称为向量正交；特殊的，如果其中一个是零向量，则一定正交。
空间正交：空间中每个向量满足和另一个空间的每个向量均正交，则称为空间正交。
推论：两个空间若相交于非零向量位置，则这两个空间必不正交。
性质：矩阵的零空间和行空间是正交的，因为零空间的定义即为$\left[\begin{array}{c}{R}_0\\ R_1\\ ...\\ R_n\end{array}\right]\mathbf{x}=0$。
故称“零空间和行空间类似于将空间一分为二，对应两个正交的子空间”，因而二者互称为“正交补”。

14.1 无解方程的最优解
令最优解为$\hat{\mathbf{x}}$，将方程$\mathbf{A}\hat{\mathbf{x}}=\mathbf{b}$改写为${\mathbf{A}}^{\mathbf{T}}\mathbf{A}\hat{\mathbf{x}}={\mathbf{A}}^{\mathbf{T}}\mathbf{b}$，然而${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$并不总是可逆的，是否可逆的判据为：$\mathbf{A}$的列向量是否线性无关（结论）。

15 子空间投影

令p为b在a上的投影，则有p=xa（x为倍数），且有：
$a^T(b-p)=a^T(b-ax)=0.$
解得$x=\frac{a^{T}b}{a^{T}a}$，则$p=\frac{a^{T}b}{a^{T}a}a=a\frac{a^T}{a^{T}a}b=Pb$
其中，$P=a\frac{a^T}{a^{T}a}$，称为投影矩阵。
投影矩阵的性质：$P^T=P;P^2=P$。

上述a如果变为向量$a_1,a_2$构成的平面$A=[a_1,a_2]$，相应的投影矩阵为$P=A(A^{T}A{)}^{-1}{A}^T$，该矩阵也有性质：$P^T=P;P^2=P$。

16 最小二乘法

【例】求三个点(1,1)(2,2)(3,2)拟合的直线方程：
设拟合直线方程：y=C+Dx，代入坐标得：$\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 3\end{array}\right]\left[\begin{array}{c}C\\ D\end{array}\right]=\left[\begin{array}{c}1\\ 2\\ 2\end{array}\right]$，该方程无解。
借助之前的无解求最优解的方法：$A^{T}b=A^{T}A\hat{x}$
解得，$C=\frac{2}{3},D=\frac{1}{2}$.

17 正交矩阵

标准正交向量：长度为1的正交向量。
标准正交矩阵：将标准正交向量组按列排在同一个矩阵中。
对于一个标准正交矩阵，满足$Q^{T}Q=\left[\begin{array}{cccc}1& 0& ...& 0\\ 0& 1& ...& 0\\ 0& 0& ...& 0\\ 0& 0& ...& 1\end{array}\right]=1$
当$Q$是方阵时，称为正交矩阵，它具有性质：$Q^T=Q^{-1}$。
所有的正交矩阵不要忘记单位化向量。
17.1 应用回顾：
1.投影矩阵：投影矩阵$P=A(A^{T}A{)}^{-1}{A}^T$，当Q是标准正交矩阵时，$P=Q{Q}^T$，特别的，当Q是方阵（正交阵）时，$P=1$。同样可以验证投影矩阵性质：$P^T=P,P^2=P$。
2.拟合方程：$A^{T}b=A^{T}Ax$，若$A=Q$，则$x=Q^{T}b$。
意义是若已知标准正交基，则b在$q_i$基的投影就是$b{q}_i^T$。
17.2 Gram-Schmidt正交化
任取三个线性无关的向量$a,b,c$，先求相应的正交向量组：
首先确定$a$为其中一个正交向量，$A=a$；
那么$b$对应的应去掉与$a$共线的部分，$B=b-\frac{A^{T}b}{A^{T}A}A$；
那么$c$对应的应去掉与$a,b$共线的部分，$C=c-\frac{B^{T}c}{B^{T}B}b-\frac{A^{T}c}{A^{T}A}A$；
最后进行单位化，$\frac{A}{|A|}，\frac{B}{|B|}，\frac{C}{|C|}$即为所求。
这样分解后得到的正交向量组构成的矩阵是正交矩阵，因而有$A=QR$，其中$R$是上三角矩阵。

18 行列式

性质九：|A|不为0当且仅当A可逆；
性质十：|AB|=|A||B|。
18.1 代数余子式
$|A|=a_{11}{C}_{11}+a_{12}{C}_{12}+...a_{1n}{C}_{1n}.$

20 逆矩阵

20.1 逆矩阵的伴随矩阵求法$A^{-1}=\frac{1}{|A|}{C}^T$
其中$C^T$为伴随矩阵，由各个元素的代数余子式组成。
【例】二维矩阵${\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]}^{-1}=\frac{1}{ad-bc}\left[\begin{array}{cc}d& -b\\ -c& a\end{array}\right]$
20.2 克莱姆法则
$Ax=b\Rightarrow x=A^{-1}b=\frac{1}{|A|}{C}^{T}b$.
这里$x_i=\frac{|C^T{b}_i|}{|A|}$，分子可以化为$\left[\begin{array}{cccc}{b}_1& a_{12}& ...& a_{1n}\\ b_1& a_{22}& ...& a_{2n}\\ b_1& a_{32}& ...& a_{3n}\\ b_1& a_{42}& ...& a_{4n}\end{array}\right]$的第一列展开。
20.3 体积
行列式的绝对值是一个六面体的体积。