【多视图几何】TUM 课程 第1章 数学基础：线性代数

在 YouTube 上找到了慕尼黑工业大学（Technische Universitaet München）计算机视觉组 Daniel Cremers 教授的 Multiple View Geometry 课程。容易理解，收获颇多，写下笔记以巩固所学。

课程的 YouTube 地址为：https://www.youtube.com/playlist?list=PLTBdjV_4f-EJn6udZ34tht9EVIW7lbeo4。视频评论区可以找到课程所使用课件与练习题的下载地址。

课程第1章介绍了线性代数的基础，MVG 课程前半部分以线性代数的形式对问题进行建模，将模型是否有解、有多少解转化为矩阵秩的问题。

1. 线性空间

1.1 线性空间定义

Vector Space 也叫 Linear Space，向量空间或线性空间。线性空间是一个集合加一个数域（一般为实数 $\mathbb{R}$），这个集合需要满足加法与乘法封闭。封闭指集合中的元素经过运算后得到的元素依旧在这个集合中。

这两个封闭的性质用映射表示为：

$$+ : V \times V \rightarrow V$$

$$\centerdot : \mathbb{R} \times V \rightarrow V$$

$V$ 中元素经过运算，依旧在 $V$ 中。

1.2 子空间

线性空间存在子空间（Subspace），子空间也是一个线性空间，满足加法与乘法的封闭。子空间与母空间之间的关系是子空间中集合 $W$ 是母空间集合 $V$ 的真子集，即 $W \subset V$，子空间的数域与母空间的数域完全相等。

由于 $0 \in \mathbb{R}$，所以线性空间一定包含0元（幺元）。

三维空间包含幺元，也就是原点 $(0, 0, 0)^T$。三维空间的子空间是二维空间，二维空间（平面）也一定包含幺元，所以作为三维空间子空间的平面一定过原点。

1.3 线性无关与基底

一个向量的集合 $S = \{v_1, \dots, v_k\} \subset V$ 张成的子空间指这些向量的线性组合：

$$\textrm{span}(S) = \{ v \in V | v = \Sigma_{i = 1}^{k} \alpha_i v_i\}$$

集合 $S$ 线性无关（linearly independent）指将这些向量线性组合成0元时所有向量的系数都为0，即：

$$\Sigma_{i = 1}^{k} \alpha_i v_i = 0 \Rightarrow \alpha_i = 0 \ \forall i$$

线性组合（Linear Combination）指将所有元素乘以一个实数，然后求和。

如果这些系数中存在不为 0 的数，那么这个集合就叫做线性相关。

线性空间 $V$ 的基底（Basis）是一集合 $B = \{ v_1, \dots, v_n \}$，这个集合线性无关，并且其中的元素能够张成整个线性空间。

基底 $S$ 是线性无关向量的最大集合，即在基底 $S$ 中再增加一个向量，集合会变成线性相关。所以线性空间 $V$ 中的任意一个向量都可以使用基底线性表示。

基底的三个性质：
假设 $B$ 与 $B'$ 是线性空间 $V$ 的两个基底，
i. $B$ 与 $B'$ 中向量的个数相同，向量的个数 $n$ 称作线性空间 $V$ 的维度（Dimension）。
ii. 线性空间 $V$ 中的任意一个向量都可以表示为基底 $B = \{ v_1, \dots, v_n \}$ 的线性组合：

$$v = \Sigma^n_{i=1} \alpha_ib_i$$
iii. 基底 $B'$ 中的向量都可以表示为基底 $B$ 中向量的线性组合：
$$b'_i = \Sigma^n_{j=1}\alpha_{ji}b_j$$
用矩阵的形式表示这个基底变换（Basis Transform）， $B' = BA$，其中 $B \equiv (b_1, \dots, b_n), B' \equiv (b'_1, \dots, b'_n)$ 将基底行的形式排列， $A \equiv [\alpha_{ij}]$ 是一个方阵。

1.4 内积与克罗内克积

在线性空间中可以定义内积（Inner Product）：

$$<\centerdot, \centerdot> : V \times V \rightarrow \mathbb{R}$$

内积是一种二元运算，将两个向量映射到实数域内，并且运算满足三条性质：
1. 线性（Linear）：$<u, \alpha v + \beta w> = \alpha <u, v> + \beta <u, w>$
2. 对称（Symmetric）：$<u, v> = <v, u>$
3. 正定（Positive Definite）：$<v, v> \ge 0$，且 $<v, v> = 0 \Leftrightarrow v = 0$

由内积可以定义范数（Norm）

$$|\centerdot| : V \rightarrow \mathbb{R}, |v| = \sqrt{<v, v>}$$

与度量（Metric）

$$d : V \times V \rightarrow \mathbb{R}, d(v, w) = |v - w| = \sqrt{<v-w, v-w>}$$

度量可以用于描述长度或距离，定义了度量的线性空间称作是度量空间（Metric Space）。

规范内积（Canonical Inner Product）是内积的一种“实现方式”，也称作点积（(Dot Product)[https://en.wikipedia.org/wiki/Dot_product]），线性空间 $V = \mathbb{R}^n$ 中定义在规范基底 $B = I_n$ 上的点积：

$$<x, y> = x^T y = \Sigma^n_{i=1} x_i y_i$$

对应的范数就称作 $L_2$ 范数（$L_2$-norm）或者欧几里德范数（Euclidean Norm）：

$$|x|_2 = \sqrt{x^Tx} = \sqrt{x_1^2 + \dots + x_n^2}$$

如果不把点积定义在规范基底 $I_n$ 上，而定义在基底 B′