多视图几何的数学基础知识的掌握(1)--线性代数相关

前言

  为了学习多视图几何，有很多数学的基础需要去补充，目前为止，博主能力有限，有错误的地方则欢迎指正，本系列博文和多视图几何笔记将会一同编写（如果我没编写完，或许我也没看懂或者做实验太忙了，见谅）。

  系列博文参考的有慕尼黑工业大学(TUM)的课程，图灵出版社出版的《线性代数应该这样学》第三版和部分高校的教材。

  为了这一系列博文的基础性质，我们省略掉了一些较为基础又总所周知的知识，比如${\mathbb{C}}^n$和${\mathbb{R}}^n$的定义，集合的定义等。大多数采用的是众所周知的符号。

  部分在多几何视图大概无用的知识点（子集和交并和直和等等），不会填入（如果有需要会在后面加）。

多视图几何的数学基础知识的掌握（1）

线性空间

  集合$V$被称为线性空间或者在域$\mathbb{R}$上的向量空间，仅当它在向量加法

$$+:V\times V\to V$$

和标量乘法

$$\cdot :\mathbb{R}\times V\to V$$，

例如$\alpha V_1+\beta V_2\in V,\forall V_1,V_2\in V,\forall \alpha ,\beta \in \mathbb{R}$

上封闭。

  关于加法$(+)$，它形成一个交换群（存在零元素 0，逆元素$-V$）。 标量乘法遵循$\mathbb{R}$的结构：$\alpha (\beta u)=(\alpha \beta )u$。 乘法和加法遵循分配律：

$$(\alpha +\beta )V=\alpha V+\beta V$$

$$\alpha (\mathrm{v}+\mathrm{u})=\alpha \mathrm{v}+\alpha \mathrm{u}$$

  这里我们需要给出向量空间关于在大学中较为严谨的定义。

线性空间的定义

  给定一个域$F$($\mathbb{R}$和$\mathbb{C}$),一个非空集合$V$叫做$F$上的一个向量空间(vector space)也叫线性空间，如果定义了两种运算：向量加法+和纯量乘法(乘号通常省略不写)，其中加法是$V\times V$到$V$的一个映射，纯量乘法是$F\times V$到$V$的一个映射，并满足以下几个性质:

1. 交换律：$\forall x,y\in V$,满足$x+y=y+x$
2. 结合律：$\forall x,y,z\in V$,满足$(x+y)+z=x+(y+z)$
3. 存在零元素：$x+0=x$
4. 存在逆元素：$\forall x\in V,\exists y\in V$，满足$x+y=0$
5. 数因子分配律：$\forall x,y\in V,\forall k\in F$，满足$k(x+y)=kx+ky$
6. 分配律：$\forall x\in V,\forall k,l\in F$,满足$,(k+l)x=kx+lx$
7. 乘法结合律：$\forall x\in V,\forall k,l\in F$满足$k(lx)=(kl)x$
8. 乘法单位元：$\forall x\in V$满足$1x=x$

小题目

  假定${\mathbb{R}}^{+}$为正实数组成的集合，其加法和乘法运算定义为

$$m⊞n=mn,k\circ m=m^k$$

验证它是${\mathbb{R}}^{+}$上的线性空间。

证明

  要证明是线性空间，则证明加法和数乘封闭，所以满足那八条性质才可。

  结合律：$(m⊞n)⊞p=mnp=m⊞(np)=m⊞(n⊞p)$

    ：$m⊞n=mn=nm=n⊞m$

  存在零元素：可以发现是1是零元素，因为$m⊞=m\times 1=m$

  存在逆元素：可以发现逆元素是$\frac{1}{m}$，因为$m⊞\frac{1}{m}=m\times \frac{1}{m}=1$

  数因子分配律：$k\circ (m⊞n)=k\circ (mn)=(mn{)}^k=m^k{n}^k=(k\circ m)⊞(l\circ m)$

  分配律：$(k⊞l)\circ m=m^{k+l}=m^k{m}^l=(k\circ m)⊞(l\circ m)$

  乘法结合律：$k\circ (l\circ m)=k\circ m^l=(m^l{)}^k=m^{lk}=m^{kl}=(kl)\circ m$

  乘法单位元:$1\circ m=m^1=m$

  所以满足8条性质，故而是在${\mathbb{R}}^{+}$上线性空间。

举个例子

  $V={\mathbb{R}}^n,\mathrm{v}=({\mathrm{x}}_1,{\mathrm{x}}_2,{\mathrm{x}}_{\mathrm{n}}{)}^{\mathrm{T}}$

  $n$维实数空间${\mathbb{R}}^n$或$n$维复数空间${\mathbb{C}}^n$，其中加法数乘运算为向量的加法和数乘元素

  次数不超过$n$的多项式全体 P [ x ] n = { p = ∑ i = 0 n a i x i ∣ a 0 , a 1 , . . . , a n ∈ R } P[x]_n=\{p=\sum\limits_{i=0}^na_ix^i | a_0,a_1,...,a_n\in \mathbb{R} \} P[x]n​={p=i=0∑n​ai​xi∣a0​,a1​,...,an​∈R}

子空间

  向量空间$V$的子集$W\subset V$称为子空间，仅当$0\in W$和$W$在$+$和 $\cdot$（对于$\forall \alpha \in \mathbb{R}$）运算下是封闭的。

具体来说，子空间仅$W\subset V$这个条件是不够的，还需要满足下面的条件：

1. 存在零元素：$0\in W$
2. 加法封闭：$\forall v,w\in W$，满足$v+w\in W$
3. 标量乘法封闭：$a\in F,\forall u\in U$，满足$au\in U$

举个例子

• 若$b\in F$,则 { ( x 1 , x 2 , x 3 , x 4 ) ∈ F 4 : x 3 = 5 x 4 + b } \{(x_1,x_2,x_3,x_4)\in F^4:x_3=5x_4+b\} {(x1​,x2​,x3​,x4​)∈F4:x3​=5x4​+b}是$F^4$的子空间当且仅当$b=0$
• 区间$[0,1]$上全体实值连续函数的集合是$R^{[0,1]}$上的子空间
• $0$是$V$的最小子空间，$V$是$V$的最大子空间，空集不是$V$的子空间，因为子空间必须是向量空间，而向量空间至少包含一个元素，即加法单位元

线性独立性和基

  一组向量集 S = { v 1 , . . . , v k } ⊂ V S=\{v_1,...,v_k\}\sub V S={v1​,...,vk​}⊂V的张成子空间，是由这些向量的所有线性组合形成的子空间：

$$\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}(S)=\left\{v\in V|v=\sum _{i=1}^k{\alpha }_i{v}_i\right\}$$

在以下情况下，集合S被称为线性独立：

$$\sum _{i=1}^k{\alpha }_i{v}_i=0\Rightarrow {\alpha }_i=0\forall i$$

  换句话说：如果没有一个矢量可以表示为剩余矢量的线性组合。 否则该集合被称为线性相关的。

  一组向量 B = { v 1 , . . . , v n } ​ B=\{v_1,...,v_n\}​ B={v1​,...,vn​}​如果它是线性无关的并且如果它可以张成向量空间$V$，则称为$V$的一组基。基是线性独立向量的最大集。

对于基的定义要知道两点：

• { v 1 , . . . , v n } \{v_1,...,v_n\} {v1​,...,vn​}是线性无关的
• $\forall x$都能由 { v 1 , . . . , v n } \{v_1,...,v_n\} {v1​,...,vn​}的组合线性表示，即$x=\sum _{i=1}^k{\beta }_i{v}_i$

基的性质

  设$B$和$B^{\prime }$为线性空间$V$的两个基数。

1. $B$和$B^{\prime }$包含相同数量的向量。 该数字$n$称为空间$V$的维数(换句话说线性空间V中线性无关向量组所含向量的最大数量$n$，称为$V$的维数，记做$\dim V=n$)。

2. 任何矢量$v\in V$可以唯一地表示为 B = { b 1 , . . . , b n } B=\{b_1,...,b_n\} B={b1​,...,bn​}中的基矢量的线性组合:

   $$v=\sum _{i=1}^n{\alpha }_i{b}_i$$

3. 特别地，$B$的所有向量可以表示为另一个基向量组$b_i^{\prime }\in B^{\prime }$的线性组合：

   $$b_I^{\prime }=\sum _{j=1}^n{\alpha }_{ji}{b}_j$$

   该基变换的系数${\alpha }_{ji}$可以组合在矩阵$A$中。令$B\equiv (b_1,...,b_n)$和$B^{\prime }\equiv (b_1^{\prime },...,b_n^{\prime })$作为基向量的矩阵，我们可以写：$B^{\prime }=BA\iff B=B^{\prime }{A}^{-1}$。

向量的内积

  在向量空间上，可以定义内积（点积，$\mathrm{d}\mathrm{t}.:$，标积 $̸=$ 乘法）：

$$<\cdot ,\cdot >:V\times V\to \mathbb{R}$$

其中有如下属性：

1. 线性性：$<u,\alpha v+\beta w>=\alpha <u,v>+\beta <u,w>$
2. 对称性：$<u,v>=<v,u>$,注意是在$\mathbb{R}$上才成立
3. 正定性：$<v,v>\ge 0$和$<v,v>=0\iff v=0$
4. 第一个位置的可加性：$<u+v,w>=<u,w>+<v,w>$
5. 第一个位置的齐次性:$\forall \lambda \in \mathbb{R},\forall u,v\in V$,满足$<\lambda u,v>=\lambda <u,v>$

  标量积被认为是一种范数

$$|\cdot |:V\to \mathbb{R},||v||=\sqrt{<v,v>}$$

$\forall \lambda \in F,||\lambda v||=|\lambda |||v||$

  和一个度量指标

$$d:V\times V\to \mathbb{R},d(v,w)=||v-w||=\sqrt{<v-w,v-w>}$$

  用于测量长度和距离，使V成为度量空间(metric space)。 由于度量由标量积$V$引起，因此称为希尔伯特空间(Hilbert space)。

在数学中，希尔伯特空间是欧几里德空间的一个推广，其不再局限于有限维的情形。与欧几里德空间相仿，希尔伯特空间也是一个内积空间，其上有距离和角的概念（及由此引申而来的正交性与垂直性的概念）。此外，希尔伯特空间还是一个完备的空间，其上所有的柯西序列等价于收敛序列，从而微积分中的大部分概念都可以无障碍地推广到希尔伯特空间中。希尔伯特空间为基于任意正交系上的多项式表示的傅立叶级数和傅立叶变换提供了一种有效的表述方式，而这也是泛函分析的核心概念之一。希尔伯特空间是公式化数学和量子力学的关键性概念之一。

  现在我们就来说说内积的具体模样

规范和诱导内积

  当$V=\mathbb{R}$时，我们可以为规范基$B=I_n$定义规范内积:

$$<x,y>=x^{T}y=\sum _{i=1}^n{x}_i{y}_i$$

  它引出了标准的L2范数或欧几里德范数

$$||x|{|}_2=\sqrt{x^{T}x}=\sqrt{x_1^2+...+x_n^2}$$

  由$B=B^{\prime }{A}^{-1}$，应用基变换$A$得到新基$B^{\prime }$，然后由下式给出在新坐标系下的$x^{\prime },y^{\prime }$的规范内积：

$$<x,y>=x^{T}y=(A{x}^{\prime }{)}^T(A{y}^{\prime })=x^{\prime T}{A}^{T}A{Y}^{\prime }\equiv <x^{\prime },y^{\prime }{>}_{A^{T}A}$$

$Bx=(B^{\prime }{A}^{-1})x=B^{\prime }(A^{-1}x)=B^{\prime }{x}^{\prime }\Rightarrow x=A{x}^{\prime }$

  后一种乘积被称为矩阵A的诱导内积。

  两个 $v$和 $w$向量正交当且仅$<v,w>=0$

值得注意的是：

• 0正交于$V$中的任意向量
• 0是$V$中唯一一个与自身正交的向量

勾股定理(毕达哥拉斯定理)

  设$v$和$u$是$V$的正交向量，则$||u+v|{|}^2=||u|{|}^2+||v|{|}^2$

证明：

$$\begin{gathered} ||u+v|{|}^2=<u+v,u+v> \\ =<u,u>+<u,v>+<v,u>+<v,v> \\ =||u|{|}^2+||v|{|}^2 \end{gathered}$$

正交分解

  设$u,v\in V$且$v̸=0$，令$c=\frac{<u,v>}{||v|{|}^2},w=u-\frac{<u,v>}{||v|{|}^2}v$,则$<w,v>=0$且$u=cv+w$

证明：

  设$u,v\in V$且$v̸=0$，把$u$写成$v$的标量倍加上一个正交于$v$的向量$w$，若下图所示：

  令$c\in F$表示一个标量，则

$$u=cv+(u-cv)$$

  要取合适$c$使得$v$正交于$(u-cv)$,即

$$0=<u-cv,v>=<u,v>-c||v|{|}^2\Rightarrow c=\frac{<u,v>}{||v|{|}^2}$$

  因此我们得到

$$u=cv+(u-cv)=\frac{<u,v>}{||v|{|}^2}v+（u-\frac{<u,v>}{||v|{|}^2}v)$$

  令$w=u-\frac{<u,v>}{||v|{|}^2}v$，即可证得。

柯西-施瓦茨不等式

  设$u,v\in V$,则$|<u,v>|\le ||u||||v||$，等号成立当且仅当$u,v$之一是另一个的标量倍。

证明：

  若$v=0$,则不等式两端都等于0。

因为所有向量都与零向量正交，零向量的模为0

  假设$v̸=0$，考虑正交分解式子：

$$u=\frac{<u,v>}{||v|{|}^2}v+w$$

  由于$w$正交于$v$，由于勾股定理有：

$$\begin{array}{rl}||u|{|}^2& ={\Vert \frac{<u,v>}{||v|{|}^2}\Vert }^2+||w|{|}^2\\ & =\frac{|<u,v>|}{||v|{|}^2}+||w|{|}^2\\ & \ge \frac{|<u,v>{|}^2}{||v|{|}^2}\end{array}$$

  然后两端同时乘以$||v|{|}^2$，再开平方即可证明。

  显然$w=0$时取等号，而当$w=0$时由于正交分解式子可以得到$u=cv$，即$u$是$v$的标量倍（或说$v$是$u$的标量倍）。

三角不等式

  设$u,v\in V$,则$|u|+v||\le ||u||+||v||$,等号成立当且仅当$u,v$之一是另一个的非负标量倍。

考虑三角形两边之和大于第三边求证

平行四边形恒等式

  设$u,v\in V$,则$||u+v|{|}^2+||u-v|{|}^2=2(||u|{|}^2+||v|{|}^2)$

证明：

$$\begin{array}{rl}||u+v|{|}^2+||u-v|{|}^2& =<u+v,u+v>+<u-v,u-v>\\ & =||u|{|}^2+||v|{|}^2+<u,v>+<v,u>\\ & +||u|{|}^2+||v|{|}^2-<u,v>-<v,u>\\ & =2(||u|{|}^2+||v|{|}^2)\end{array}$$

克罗内克乘积(Kronecker Product)和矩阵的拼接(stack)

  给出两个矩阵$A\in {\mathbb{R}}^{m\times n}$和$B\in R^{k\times l}$，通过下面的方式可以定义克罗内克内积$A\otimes B$:

$$A\otimes B\equiv \left(\begin{array}{ccc}{a}_{11}B& \cdots & a_{1n}B\\ ⋮& \ddots & ⋮\\ a_{m1}B& \cdots & a_{mn}B\end{array}\right)\in {\mathbb{R}}^{mk\times nl}$$

  在Matlab中可以通过下面代码实现

C=kron(A,B)

例子

$$\left[\begin{array}{cc}1& 2\\ 3& 1\end{array}\right]\otimes \left[\begin{array}{cc}0& 3\\ 2& 1\end{array}\right]=\left[\begin{array}{cccc}1\times 0& 1\times 3& 2\times 0& 2\times 3\\ 1\times 2& 1\times 1& 2\times 2& 2\times 1\\ 3\times 0& 3\times 3& 1\times 0& 1\times 3\\ 3\times 2& 3\times 1& 1\times 2& 1\times 1\end{array}\right]=\left[\begin{array}{cccc}0& 3& 0& 6\\ 2& 1& 4& 2\\ 0& 9& 0& 3\\ 6& 3& 2& 1\end{array}\right]$$

  给定一个矩阵$A\in {\mathbb{R}}^{m\times n}$，它的拼接$A^s$是通过拼接它的$n$列向量$a_1,\cdots ,a_n\in {\mathbb{R}}^m$获得：

$$A^s\equiv \left(\begin{array}{c}{a}_1\\ ⋮\\ a_n\end{array}\right)\in {\mathbb{R}}^{mn}$$

python中的numpy有stack函数，除此之外还有hstack等等

例子

$${\left(\begin{array}{cccc}1& 2& 3& 4\\ 5& 6& 7& 8\\ 9& 1& 2& 3\end{array}\right)}^s=\left(\begin{array}{c}1\\ 5\\ 9\\ 2\\ 6\\ 1\\ 3\\ 7\\ 2\\ 4\\ 8\\ 3\end{array}\right)$$

  这些符号允许重写代数表达式，例如：

$$u^{T}Av=(v\otimes u{)}^T{A}^s$$

证明就不证明了，有需要评论里说，我举例子验证和进行维数的判断，没任何问题，该式恒成立。

线性变换和矩阵

  线性代数研究线性空间之间线性变换的性质。 由于这些可以用矩阵表示，线性代数研究矩阵的性质。 两个线性空间$V$和$W$之间的线性变换$L$是映射$L$：$V\to W$这,如下所示：

• $L(x+y)=L(x)+L(y),\forall x,y\in V$
• $L(\alpha x)=\alpha L(x),\forall x\in V,\alpha \in R$

  由于线性，$L$对空间$V$的作用由其对$V$的基矢量的作用唯一地定义。在规范基础上 { e 1 , . . . , e n } \{e_1,...,e_n\} {e1​,...,en​}， 我们有：

$$L(x)=Ax,\forall x\in V$$

其中

$$A=(L(e_1),...,L(e_n))\in {\mathbb{R}}^{m\times n}$$

  所有的$m\times n$的实矩阵用$\mathcal{M}(m,n)$表示。 在$m=n$的情况下，令$\mathcal{M}(m,n)\equiv \mathcal{M}(n)$在域R上形成环（ring），即它在矩阵乘法和求和下闭合（引出了群的概念）。

  我们给出线性映射的一些规范化定义。

规范化定义

  设$v_1,..,v_n$是$V$的基，$w_1,...,w_n\in W$。则存在唯一一个线性映射$L:V\to W$（有些书本会写成$T$）使得对于任意的$j=1,...,n$都有

$$L{v}_j=w_j$$

对于证明就不证明了，有需要的话。留言评论我再修改博文添加。此博文只是用于实际的计算机处而非数学的课程博文

单射（injective）

  当$Lv=Lu$时必有$u=v$，则称线性映射$L:V\to W$是单射。

  换句话说，单射映射将不同输入映射成不同输出，即$u̸=v$则$Tu̸=Tv$

线性群$GL(n)$和$SL(n)$

  存在形成一组的某些线性变换群(Group)。

  博主将群定义为一种集合加上一种运算的代数结构，当然这也可能并不规范，下面给出较为规范的定义。

一个群是具有操作$\circ :G\times G\to G$的一个集合$G$，它满足下面的性质：

1. 封闭性：$g_1\circ g_2\in G,\forall g_1,g_2\in G$
2. 结合律：$(g_1\circ g_2)\circ g_3=g_1\circ (g_2\circ g_3),\forall g_1,g_2,g_3\in G$
3. 幺(零)元：$\exists e\in G:e\circ g=g\circ e=g,\forall g\in G$
4. 逆元:$\exists g^{-1}\in G:g\circ g^{-1}=g^{-1}\circ g=e,\forall g\in G$

示例

  所有可逆（非奇异）$n\times n$实矩阵形成关于矩阵乘法的群。 该群称为一般线性群$GL(n)$。 它由所有$A\in \mathcal{M}$组成,都满足：

$$\det (A)̸=0$$

  所有满足$A\in GL(n)$矩阵，其$\det (A)=1$形成一个群，被称为特殊线性群$SL(n)$。而且值得一说的是，$A$的逆也在这个群中，即$\det (A^{-1})=det(A{)}^{-1}$。

后期会涉及到李群和李代数，他们也是群的一种

群的矩阵表达

  如果存在单射变换(injective transformation)，则组G具有矩阵表达或者被认为是矩阵群：

$$R:G\to GL(n)$$

  它保留了G的群结构,即逆(inverse)和组合(composition)由映射保留：

$$R(e)=I_{n\times n},R(g\circ h)=R(g)R(h),\forall g,h\in G$$

  这样的映射$R$被称为群同态(Group homomorphism)。

  关于群同态的描述可以参看维基百科，中文版，英文版。

中文版维基百科需要翻墙，没有条件还是去英文版吧，原汁原味。

  值得注意的，这群的矩阵表示有什么作用？

  使用群的矩阵表示的想法是让我们可以允许通过查看相应矩阵群的属性来分析更抽象的群。

示例

  我们知道对象的旋转形成一个群，因为存在零元素（无旋转）和逆元素（反向旋转），并且旋转的任何连接也是旋转（围绕不同的轴）。 如果旋转由相应的矩阵表示，则研究旋转群的属性更容易。

这就是旋转矩阵的群的引出，比如$SO(2),SO(3)$

仿射变换群$A(n)$

  我们使用矩阵$A\in GL(n)$和一个向量$b\in {\mathbb{R}}^n$定义仿射变换$L:{\mathbb{R}}^n\to {\mathbb{R}}^n$:

$$L(x)=A(x)+b$$

  所有这种仿射变换的集合称为维度$n$的仿射群，由$A(n)$表示。

  除非$b=0$，否则上面定义的$L$不是线性映射。通过引入齐次坐标来表示$\mathrm{x}\in {\mathbb{R}}^{\mathrm{n}}$为$\left(\begin{array}{c}\mathrm{x}\\ 1\end{array}\right)\in {\mathbb{R}}^{n+1}$，$L$成为线性映射:

$$L:{\mathbb{R}}^{n+1}\to {\mathbb{R}}^{n+1};\left(\begin{array}{c}\mathrm{x}\\ 1\end{array}\right)\mapsto \left(\begin{array}{cc}A& b\\ 0& 1\end{array}\right)\left(\begin{array}{c}\mathrm{x}\\ 1\end{array}\right)$$

  具有$A\in GL(n)$和$b\in {\mathcal{R}}^n$的矩阵$\left(\begin{array}{cc}A& b\\ 0& 1\end{array}\right)$称为仿射矩阵。 它是$GL(n+1)$的一个元素。 仿射矩阵形成$GL(n+1)$的子群。

留个思考题，为什么是子群呢？答案我就不揭秘了。（感觉很简单）

正交群$O(n)$

  如果一个矩阵$A\in \mathcal{M}(n)$保留了内积性质就被称为是正交矩阵：

$$<Ax,Ay>=<x,y>,\forall x,y\in {\mathbb{R}}^n$$

  感觉这样定义不够严谨。不过有些书是这么定义正交矩阵的。

  如果一个$n\times n$的实矩阵$A$满足

$$A{A}^T=E,A^{T}A=E$$

  其中$E$是单位矩阵，$A^T$表示是矩阵$A$的转置矩阵，则称该矩阵$A$为正交矩阵。

值得注意的是这样矩阵具有以下性质：

• $A^T$也是正交矩阵
• $A$的各行是单位向量且两两正交，列也是如此
• $\det A=1or-1$
• $A^T=A^{-1}$

  接下来说正交群。

  所有正交矩阵的集合形成正交群$O(n)$，其是$GL(n)$的子群。 对于正交矩阵$R$，我们有

$$<Rx,Ry>=x^T{R}^{T}Ry=x^{T}y,\forall x,y\in {\mathbb{R}}^n$$

  因此，我们必然有$R^{T}R=R{R}^T=I$，换句话说：

O ( n ) = { R ∈ G L ( n ) ∣ R R T = I } O(n)=\{R\in GL(n)|RR^T=I\} O(n)={R∈GL(n)∣RRT=I}

  谢天谢地，博主终于到此引出了正交群的概念。

  上述恒等式表明，对于任何正交矩阵R，我们得到$\det (R^{T}R)=(\det (R){)}^2=\det (I)=1$，使得 det ⁡ ( R ) ∈ { ± 1 } \det(R)\in \{\pm1\} det(R)∈{±1}。

  具有$\det (R)=\pm 1$的$O(n)$的子群称为特殊正交群$SO(n)$。 $SO(n)=O(n)\cap SL(n)$。 特别地，$SO(3)$是所有三维旋转矩阵的组。

回顾：$O(n)$是正交群，$SL(L)$是特殊线性群（前面有讲述）

欧式群$E(n)$

  从${\mathbb{R}}^n$到${\mathbb{R}}^n$的欧几里德变换$L$由正交矩阵$R\in O(n)$和向量$T\in {\mathbb{R}}^n$定义：

$$L:{\mathbb{R}}^n\to {\mathbb{R}}^n;x\mapsto Rx+T$$

  所有这些变换的集合称为欧几里德群$E(n)$。 它是仿射群A（n）的子组。 通过齐次坐标表示，我们得到：

$$E(n)=\left\{\left(\begin{array}{cc}R& T\\ 0& 1\end{array}\right)|R\in O(n),T\in {\mathbb{R}}^n\right\}$$

  如果$R\in SO(3)$（即$\det (R)=1$），则我们得到特殊欧式群$SE(3)$。 特别地，$SE(3)$代表${\mathbb{R}}^3$中的刚体运动。

群的范围总结

  让我们来总结一下

$$SO(n)\subset O(n)\subset GL(n)$$

$$SE(n)\subset E(n)\subset A(n)\subset GL(n+1)$$

值域(range)，扩张空间(span)，零空间(Null Space)和核（Kernel）

  设$A\in R^{m\times n}$是定义从${\mathbb{R}}^n$到${\mathbb{R}}^m$的线性映射的矩阵。 A的值域(range，即为列空间)或扩张空间(span，也是张成的空间)定义为${\mathbb{R}}^m$的子空间，可以通过A“可达”的空间：

r a n g e ( A ) = { y ∈ R m ∣ ∃ x ∈ R n : A x = y } {\rm range}(A) = \{y\in \mathbb{R}^m | \exist x\in \mathbb{R}^n:Ax=y\} range(A)={y∈Rm∣∃x∈Rn:Ax=y}

  矩阵A的值域由其列向量的张成的空间。

  矩阵A的零空间或核由被映射为零向量的向量集$x\in {\mathbb{R}}^n$给出：

n u l l ( A ) ≡ k e r ( A ) = { x ∈ R 3 ∣ A x = 0 } {\rm null}(A) \equiv {\rm ker}(A) = \{x\in \mathbb{R}^3| Ax=0\} null(A)≡ker(A)={x∈R3∣Ax=0}

  矩阵A的零空间由与其行向量正交的向量给出。

  用matlab的代码写如下：

Z=null(A)

  在研究线性方程的解时，值域和零空间的概念是有用的。 方程$Ax=b$有一个解$x\in {\mathbb{R}}^3$当且仅当$b\in \mathrm{r}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{e}(A)$。 而且，只有当$\mathrm{k}\mathrm{e}\mathrm{r}(A)=0$时，该解才是唯一解。 实际上，如果$x_s$是$Ax=b$和$x_o\in \mathrm{k}\mathrm{e}\mathrm{r}(A)$的解，则$x_s+x_o$也是解：$A(x_s+x_o)=A{x}_s+A{x}_o=b$。

可能有人把之称之为通解或一般解

  矩阵求解不想额外扩展，如果有人想要额外扩展，我可能需要开个新博文详细讲解，但具体来说，我们需要记求解的时候是需要增广矩阵或者克拉默法则来求解的，另外有以下的几点总结（矩阵求解有需要的人下面博文评论，我就另外开一篇博文描述）。

  总结需要矩阵的秩的内容，如果不懂的，先跳过，后面讲解了矩阵的秩。

• $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)<\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A,b)$,则方程组无解
• $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A,b)=r=n$，则方程组有唯一解
• $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A,b)=r<n$，则方程组有无穷多解

对于有解的情况：

• $\mathrm{d}\mathrm{e}\mathrm{t}(A)=0$，则无穷多解
• $\mathrm{d}\mathrm{e}\mathrm{t}(A)̸=0$，则存在唯一解

矩阵的秩(Rank)

  我们把矩阵的值域的维度称为矩阵的秩，即：

$$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=\mathrm{d}\mathrm{i}\mathrm{m}(\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{e}(A))$$

矩阵$A\in {\mathbb{R}}^{m\times n}$的秩有如下的性质：

• $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=n-\mathrm{d}\mathrm{i}\mathrm{m}(\mathrm{k}\mathrm{e}\mathrm{r}(A))$

• 0 ≤ r a n k （ A ） 等 于 A 的 线 性 独 立 行 （ 或 列 ） 向 量 的 最 大 数 量 。 ≤ min ⁡ { m , n } 0\le rank（A）等于A的线性独立行（或列）向量的最大数量。\le \min\{m,n\} 0≤rank（A）等于A的线性独立行（或列）向量的最大数量。≤min{m,n}

• $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)$等于$A$的线性独立行（或列）向量的最大数量。

• $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)$是A的非零子式的最高阶，其中阶数为$k$的子式(minor)是 $A$的$k\times k$的子矩阵

• 西尔维斯特不等式（Sylvester’s inequality）：

  让$B\in {\mathbb{R}}^{n\times k}$,然后$AB\in {\mathbb{R}}^{m\times k}$，而且

  r a n k ( A ) + r a n k ( B ) − n ≤ r a n k ( A B ) ≤ min ⁡ { r a n k ( A ) , r a n k ( B ) } {\rm rank}(A)+{\rm rank}(B)-n \le {\rm rank}(AB) \le \min\{{\rm rank}(A),{\rm rank}(B)\} rank(A)+rank(B)−n≤rank(AB)≤min{rank(A),rank(B)}

• 对于任何非奇异矩阵$C\in {\mathbb{R}}^{m\times m}$和$D\in {\mathbb{R}}^{n\times n}$，我们有

  $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(\mathrm{A})=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(CAD)$

  matlab中求矩阵的秩：

d=rank(A)

特征值和特征向量

  让$A\in {\mathbb{C}}^{n\times n}$是复矩阵。一个非零向量$v\in {\mathbb{C}}^n$被称为$A$ 的(右）特征向量，仅当它满足下面条件时：

$$Av=\lambda v,\lambda \in \mathbb{C}$$

  $\lambda$被称为$A$的特征值。

  类似的，如果对于$\lambda \in \mathbb{C}$，有$v^{T}A=\lambda v^T$，则称为$A$的左特征向量。

  矩阵A的谱(spectrum)$\sigma (A)$是其所有特征值的集合。

  用matlab求特征值和特征向量：

[V,D]=eig(A)

  其中$D$是包含特征值的对角矩阵，$V$是矩阵，其列是对应的特征向量，使得$AV=VD$。

特征值和特征向量的性质

让$A\in {\mathbb{R}}^{n\times n}$，然后

1. 对于一些$\lambda \in \mathbb{R}$,满足$Av=\lambda v$,接着存在一个左特征向量$\eta \in {\mathbb{R}}^n：{\eta }^{T}A=\lambda {\eta }^T$。因此$\sigma (A)=\sigma (A^T)$。

   想想将${\eta }^{T}A=\lambda {\eta }^T$两边都转置

2. 与不同特征值相关联的矩阵$A$的特征向量是线性无关的。

3. 所有特征值$\sigma (A)$是特征多项式方程$\mathrm{d}\mathrm{e}\mathrm{t}(\lambda I-A)=0$的根。因此$\det (A)$等于所有特征值的乘积（其中一些特征值可能多次出现）。

4. 对于一些非奇异矩阵，如果$B=PA{P}^{-1}$,则$\sigma (B)=\sigma (A)$

5. 如果$\lambda \in \mathbb{C}$是一个特征值，那么它的共轭$\overline{\lambda }\in \mathbb{C}$也是一个特征值。 因此对于实矩阵$A$来说，$\sigma (A)=\overline{\sigma (A)}$.

对称矩阵

  如果$S^T=S$，则矩阵$S\in {\mathbb{R}}^{n\times n}$称为对称的。如果$x^{T}Sx\ge 0$，则对称矩阵$S$称为半正定矩阵（由$S\ge 0$或$S⪰0$表示）。 如果$x^{T}Sx>0,\forall x̸=0$，则称$S$为正定（用$S>0$或$S\succ 0$表示）。

让$S\in {\mathbb{R}}^{n\times n}$是实对称矩阵，则：

1. $S$的所有特征值都是实数。例：$\sigma (S)\in \mathbb{R}$
2. 对应于不同特征值${\lambda }_i̸={\lambda }_j$的$S$的特征向量$v_i$和$v_j$是正交的。
3. $S$总是存在$n$个正交的特征向量，它们构成${\mathbb{R}}^n$的基。 设$V=(v_1,...,v_n)\in O(n)$是这些特征向量的正交矩阵，并且$\wedge =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\lambda }_1,...,{\lambda }_n)$是特征值组成的对角矩阵。 然后我们有$S=V\wedge V^T$。
4. 如果所有特征值都是正的（非负），则$S$是正（半正）定的。
5. 设$S$为半正定且${\lambda }_1,{\lambda }_n$是最大和最小的特征值。 那么${\lambda }_1={\max }_{|x|=1}<x,Sx>$和${\lambda }_n={\min }_{|x|=1}<x,Sx>$。

矩阵的范数

  有很多方法可以在矩阵$A\in {\mathbb{R}}^{m\times n}$的空间(space)上定义范数。 它们可以基于$A$操作的域空间上的范数来定义。 特别地，矩阵A的诱导2范数被定义为

$$||A|{|}_2\equiv \underset{|x{|}_2=1}{\max }|Ax{|}_2=\underset{|x{|}_2=1}{\max }\sqrt{<x,A^{T}Ax>}$$

  或者，可以将$A$的$Frobenius$范数($F$范数)定义为：

$$||A|{|}_f\equiv \sqrt{\sum _{i,j}{a}_{ij}^2}=\sqrt{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{c}\mathrm{e}(A^{T}A)}$$

国内书籍可能写成$||A|{|}_F$

  请注意，这些范数通常不一样。 由于矩阵$A^{T}A$是对称的并且是半正定的，我们可以将它对角化为：$A^{T}A=V\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\sigma }_1^2,...,{\sigma }_n^2)V^T$，其中${\sigma }_1^2\ge {\sigma }_i^2\ge 0$。这导致：

$$||A|{|}_2={\sigma }_1$$

而且

$$||A|{|}_f=\sqrt{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{c}\mathrm{e}(A^{T}A)}=\sqrt{{\sigma }_1^2+...+{\sigma }_n^2}$$

值得注意的矩阵的迹有如下性质：

• $\mathrm{T}\mathrm{r}(A)=\mathrm{T}\mathrm{r}(A^T)$
• $\mathrm{T}\mathrm{r}(ABC)=\mathrm{T}\mathrm{r}(CAB)=\mathrm{T}\mathrm{r}(BCA)$
• $a\in \mathbb{R},a=\mathrm{T}\mathrm{r}(a)$

斜对称矩阵

  如果$A^T=-A$，矩阵$A\in {\mathbb{R}}^{n\times n}$称为斜对称(skew-symmetric)或反对称矩阵(anti-symmetric)。

  如果$A$是实斜对称矩阵，则

1. $A$的所有特征值都是零或纯虚数，即形式为$iw$ ,其中$i^2=-1,w\in \mathbb{R}$

2. 存在正交矩阵V，使得

   $$A=V\wedge V^T$$

   其中$\wedge$是分块对角矩阵

   ∧ = d i a g { A 1 , . . . , A m , 0 , . . . , 0 } \land = {\rm diag}\{A_1,...,A_m,0,...,0\} ∧=diag{A1​,...,Am​,0,...,0}，其中实对称矩阵$A_i$有如下形式：

   $$A_i=\left(\begin{array}{cc}0& a_i\\ -a_i& 0\end{array}\right)\in {\mathbb{R}}^{2\times 2},i=1...,m$$

     特别地，任何斜对称矩阵的秩是偶数。

   例子-计算机视觉中的斜对称

     在计算机视觉中，一个常见的斜对称矩阵由矢量$u\in {\mathbb{R}}^3$的帽算子(hat operator)给出：

   $$\hat{u}=\left(\begin{array}{ccc}0& -u_3& u_2\\ u_3& 0& -u_1\\ -u_2& u_1& 0\end{array}\right)\in {\mathbb{R}}^{3\times 3}$$

     这是从矢量${\mathbb{R}}^3$的空间到${\mathbb{R}}^{3\times 3}$中的斜对称矩阵的空间的线性算子。

  特别地，矩阵$\hat{u}$具有以下特性

$$\hat{u}v=u\times v$$

  其中$\times$表示${\mathbb{R}}^3$中的标准向量积。 对于$u̸=0$，我们得到$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(\hat{u})=2$并且由$u$扩展的$\hat{u}$的零空间，因为$\hat{u}u=u^T\hat{u}=0$。

奇异值分解（SVD）

  我们研究了矩阵的许多属性，例如秩，值域，零空间和矩阵的诱导范数。 许多这些属性可以通过所谓的奇异值分解（SVD）来获得。

  SVD:singular value decomposition

SVD可以看作是非方阵的特征值和特征向量的推广。

   SVD的计算在数值上是良态的(well-conditioned)。 它对于求解线性代数问题非常有用，例如矩阵求逆，秩计算，线性最小二乘估计，投影和固定秩近似。

  在实践中，奇异值分解和特征值分解都被广泛使用。

  博主认为有一篇关于SVD的描述还是不错，可以参考该文SVD分解及几何意义。

  要说明奇异值分解，首先我们需要说一说什么是奇异值。

奇异值(singular values)

  这里我们不给出很严谨的数学定义（如果有需要则在评论中说明，我会添加）

  我们说奇异值是指给定一个矩阵$A\in {\mathbb{R}}^{m\times n}$,我们令 q = min ⁡ { m , n } q=\min\{m,n\} q=min{m,n}，假设$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=r$。

  那么当我们求$A^{H}A$的特征值中非负特征值的算术平方根叫做奇异值。

SVD的代数推导

  让我们定义一个矩阵$A\in {\mathbb{R}}^{m\times n}$,其中$m\ge 0，\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=p$。接着存在如下性质：

• $U\in {\mathbb{R}}^{m\times p}$，其列是正交的
• $V\in {\mathbb{R}}^{n\times p}$，其列是正交的
• $\Sigma \in {\mathbb{R}}^{p\times p}，\Sigma =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\sigma }_1,...,{\sigma }_p)$,其中${\sigma }_1\ge ...\ge {\sigma }_p$,

以至于可得到：

$$A=U\Sigma V^T$$

  注意，这概括了特征值分解。 而后者用正交变换$V$分解对称方阵$A$：

$$A=V\wedge V^T$$

  其中 V ∈ O ( n ) ， ∧ = d i a g { λ 1 , . . . , λ n } V \in O(n)，\land = {\rm diag}\{\lambda_1,...,\lambda_n\} V∈O(n)，∧=diag{λ1​,...,λn​}

  SVD允许利用具有正交列的两个变换$U$和$V$来分解秩$p$的任意（非方阵）矩阵$A$，如上所示。 然而，我们将看到SVD基于对称方阵的特征值分解。

SVD分解的证明

  给定一个矩阵$A\in {\mathbb{R}}^{m\times n}$,其中$m\ge n$而且$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=p$,则矩阵

$$A^{T}A\in {\mathbb{R}}^{n\times n}$$

  是对称的，半正定的。 因此，它可以被分解为具有的非负特征值${\sigma }_1^2\ge ...\ge {\sigma }_n^2\ge 0$的正交特征向量$v_1,...,v_n$。 ${\sigma }_1$被称为奇异值。

  由于$\mathrm{k}\mathrm{e}\mathrm{r}(A^{T}A)=\mathrm{k}\mathrm{e}\mathrm{r}(A)$和$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{e}(A^{T}A)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{e}(A^T)$

  加上已知 s p a n { v 1 , . . . , v p } = r a n g e ( A T ) {\rm span}\{v_1,...,v_p\}={\rm range}(A^T) span{v1​,...,vp​}=range(AT)和 s p a n { v p + 1 , . . . , v n } = k e r ( A ) {\rm span}\{v_{p+1},...,v_n\}={\rm ker(A)} span{vp+1​,...,vn​}=ker(A)。

  然后让

$$u_i=\frac{1}{{\sigma }_i}A{v}_i\iff A{v}_i={\sigma }_i{u}_i,i=1,...,p$$

  而$u_i\in {\mathbb{R}}_m$是正交的：

$$<u_i,u_j>=\frac{1}{{\sigma }_i{\sigma }_j}<A{v}_i,A{v}_j>=\frac{1}{{\sigma }_i{\sigma }_j}<v_i,A^{T}A{v}_j>={\delta }_{ij}$$

  然后完成 { u i } i = 1 p \{u_i\}_{i=1}^p {ui​}i=1p​到${\mathbb{R}}_m$的基 { u i } i = 1 m \{u_i\}_{i=1}^m {ui​}i=1m​。由于$A{v}_i={\sigma }_i{u}_i$,我们可以得到：

$$A(v_1,...,v_n)=(u_1,...,u_m)\left(\begin{array}{ccccc}{\sigma }_1& 0& 0& \cdots & 0\\ 0& \ddots & 0& ⋮& 0\\ 0& \cdots & \sigma & ⋮& 0\\ ⋮& \cdots & \cdots & ⋮& 0\\ 0& \cdots & \cdots & 0& 0\end{array}\right)$$

  它具有$A\tilde{V}=\tilde{U}\tilde{\Sigma }$的形式,因此:

$$A=\tilde{U}\tilde{\Sigma }{\tilde{V}}^T$$

  现在简单地删除所有乘以零奇异值$\tilde{U}$的列和${\tilde{V}}^T$的行，我们得到形式$A=U\Sigma V^T$，其中$U\in {\mathbb{R}}^{m\times p}$和$V\in {\mathbb{R}}^{n\times p}$。

  在matlab中，使用以下代码可以求矩阵的SVD分解

[U,S,V]=svd(A)

SVD的几何解释

  对于$A\in {\mathbb{R}}^{n\times n}$，奇异值分解$A=U\Sigma V^t$使得$U=(u_0,...,u_n)$的列和$V=(v_1,...,v_n)$形成${\mathbb{R}}^n$的正交基。 如果通过变换$A$将点$x\in {\mathbb{R}}^n$映射到点$y\in {\mathbb{R}}^n$，则以$U$的基为底得到的坐标$y$通过对角矩阵$\Sigma$与$V$的基为底的$x$坐标相关：每个坐标仅通过相应的奇异值进行缩放：

$$y=Ax=U\Sigma V^{T}x\iff U^{T}y=\Sigma V^{T}x$$

  矩阵$A$将单位球体映射为具有半轴长为${\sigma }_i{u}_i$的椭圆体。

  我们将$\alpha \equiv V^{T}x$是点$x$在以$V$为基下的系数，同理$y$在以$U$为基下的系数被记为$\beta \equiv U^{T}y$。圆的所有点都满足$|x{|}_2^2=\sum _i{\alpha }_i^2=1$。按照上面的推算可以得到${\beta }_i={\sigma }_i{\alpha }_i$。 因此对于在球体上的点：

$$\sum _i{a}_i^2=\sum _i\frac{{\beta }_o^2}{{\alpha }_i^2}=1$$

  其中指出，变换点位于沿着以$U$为基的轴取向的椭圆体上。

  本博主推荐一篇博文，关于讲解SVD的几何意义。

广义（Moore Penrose）逆

  对于某些二次矩阵，如果$\det (A)=0$，则可以定义逆矩阵。所有可逆矩阵的集合形成群$GL(n)$。

  还可以为任意（非二次）矩阵$A\in {\mathbb{R}}^{m\times n}$定义（广义）逆（也称为伪逆）（dt。：伪逆）。 如果其SVD为$A=U\Sigma V^T$，则伪逆定义为：

$$A^{†}=V{\Sigma }^{†}{U}^T$$

其中：

$${\Sigma }^{†}={\left(\begin{array}{cc}{\Sigma }_1^{-1}& 0\\ 0& 0\end{array}\right)}_{n\times m}$$

国内的书对于广义逆的上标可能直接是$+$而不是$†$

其中${\Sigma }_1$是非零奇异值的对角矩阵。

  在Matlab中这样求解出广义(伪）逆：

X = pinv(A)

  特别地，伪逆能以与二次可逆矩阵的逆相似的方式使用：

$$A{A}^{†}A=A,A^{†}A{A}^{†}=A^{†}$$

  线性方程$Ax=b$，其中秩 r ≤ min ⁡ { m , n } r\le \min\{m,n\} r≤min{m,n}的矩阵$A\in {\mathbb{R}}^{m\times n}$可以有多个或没有解。 $x_{min}=A^{†}b$是$||Ax-b|{|}^2$中最小范数$||x||$的极小化变量（minimizers）。

详细的说。

  当矩阵$A$的列数多余行数的时候，使用使用伪逆求解线性方程是众多可能解法中的一种。特别地，$x=A^{†}$ 是方程所有可行解中欧几里得范数$||x|{|}_2$最小的一个。

  当矩阵A 的行数多于列数时，可能没有解。在这种情况下，通过伪逆得到的$x$
使得$Ax$ 和$b$ 的欧几里得距离$||Ax-b|{|}_2$ 最小。

总结

  本次博文到这里介绍，介绍了线性代数的知识，只要是感觉在计算机视觉尤其是多几何视图中需要的。