2D摄影几何、变换、估计

摄影几何、变换、估计

点 直线 二次曲线

$\mathbf{x}=(x_1,x_2,1)$ 表示点$\tilde{\mathbf{x}}=(x_1,x_2)$ 的齐次

$\mathbf{I}=(a,b,c{)}^T$ 表示方程$ax+by+c=0$，

描述	点表示	线表示
点在直线	$x^{T}I=0$
过两点的线 / 两直线交点	$I=x\times x^{{}^{\prime }}$	$x=I\times I^{{}^{\prime }}$
二次曲线	$x^{T}Cx=0$	$I^T{C}^{\ast }I=0$
（非退化）	$C=\left[\begin{array}{ccc}a& b/2& d/2\\ b/2& c& e/2\\ d/2& e/2& f\end{array}\right]$
退化	$\mathbf{C}=\mathbf{I}{\mathbf{m}}^{\mathbf{T}}+\mathbf{m}{\mathbf{l}}^{\mathbf{T}}$	${\mathbf{C}}^{\ast }=\mathbf{x}{\mathbf{y}}^{\mathsf{T}}+\mathbf{y}{\mathbf{x}}^{\mathsf{T}}$
过（非退化）二次曲线C上点x的切线I	$I=Cx$

理想点 ： $\mathbf{x}=(x_1,x_2,0)$

两平行线 $I=(a,b,c{)}^T,I^{{}^{\prime }}=(a,b,c^{{}^{\prime }}{)}^T$ 的交点 $x=I\times I^{{}^{\prime }}=(b,-a,0)$

无穷远线 : ${\mathbf{I}}_{\infty }=(0,0,1{)}^T$

对非奇异对称矩阵C 有 $C^{\ast }=C^{-1}$ (相差一个尺度因子)

退化二次曲线

非满秩矩阵C所定义的二次曲线称作退化二次曲线，退化的点二次曲线包含两条线（秩2）或 一条重线（秩1）.

退化的线二次曲线包含 两个点（秩2），或一个重点（秩1)

两直线的夹角 $\mathbf{I}=(l_1,l_2,l_3{)}^T,\mathbf{m}=(m_1,m_2,m_3{)}^T$

$\cos \theta =\frac{l_1{m}_1+l_2{m}_2}{\sqrt{\left(l_1^2+l_2^2\right)\left(m_1^2+m_2^2\right)}}$

射影变换

或称 单应 (homography) 保线变换

是一个平面到另一个平面的点的映射关系

定理 ：映射 $h:{\mathrm{IP}}^2\to {\mathrm{IP}}^2$ 是射影映射的充要条件是：存在一个3×3非奇异矩阵H,使得${\mathrm{IP}}^2$ 的任何一个用矢量x表示的点都满足$h(x)=Hx$

在下图的射线模型中，一个射影变换就是 ${\mathrm{IP}}^3$ 的一种线性变换，

如果在两平面上建立的**都是欧氏(角角)坐标系（下图），那么这样一种由中心投影定义的映射比一般射影变换有更多的约束.我们称它为透视映射而不是完全的射影映射*，它可由一个六自由度的变换来表示.*

两个射影映射的复合是射影映射; 两个透视映射的复合是射影映射而不是透射映射.

直线与二次曲线的变换

直线 $I$ 经过变换 $I\stackrel{x^{{}^{\prime }}=Hx}{\to }{I}^{{}^{\prime }}=H^{-T}I$

1. 验证过SE3，I 为 4x1 取前三个，（无需让第四位为1 ,否则会改变向量方向）
2. 先将向量的终点 原点 经过H变换，在终点‘ - 原点’得到新向量
3. 这两种方式计算的结果有一定误差，以谁的为准？

二次曲线 $C$ 经过变换 $C\stackrel{x^{{}^{\prime }}=Hx}{\to }{C}^{\prime }=H^{-T}C{H}^{-1}$ $C^{\ast }\stackrel{x^{{}^{\prime }}=Hx}{\to }{C}^{\ast \prime }=H{C}^{\ast }{H}^T$

极点 与 极线关系

点 $\mathbf{x}$ 和 二次曲线 $\mathbf{C}$ 定义一条直线$\mathbf{I}=\mathbf{Cx}$. $\mathbf{I}$ 称为$\mathbf{x}$ 关于$\mathbf{C}$ 的极线; $\mathbf{x}$ 称为$\mathbf{I}$ 关于$\mathbf{C}$ 的极点

对射是P点到P线的可逆映射并用一个3×3非奇异矩阵A表示为I=Ax

对射提供了点与直线关系对偶化的一种系统方法，对射不要求一定要用对称矩阵表示，但因为讨论二次曲线，在这里我们只限于考虑对称的对射.

共轭点： 如果点 $\mathbf{y}$ 在极线 $\mathbf{I}=\mathbf{Cx}$ 上，则 ${\mathbf{y}}^T\mathbf{l}={\mathbf{y}}^T\mathbf{Cx}=0$ .满足 ${\mathbf{y}}^T\mathbf{Cx}=0$ 的任何两点 $\mathbf{y},\mathbf{x}$ 称为关于二次曲线C共轭

如果x在y的极线上，那么y也在x的极线上.

二次曲线的 射影分类 与 仿射分类

因为二次曲线$C$ 是对称矩阵,

$C=U^{T}DU$

以射影变换$U$ (正交矩阵)作用于二次曲线$C$

$C\stackrel{x^{{}^{\prime }}=Ux}{\to }{C}^{\prime }=U^{-T}C{U}^{-1}=U^{-T}{U}^{T}DU{U}^{-1}=D$

令$D=diag\left({ϵ}_1{d}_1,{ϵ}_2{d}_2,{ϵ}_3{d}_3\right)，$${ϵ}_i=\pm 1或0且d_i>0$

$D=\mathrm{diag}(s_1,s_2,s_3{)}^T\mathrm{diag}({\epsilon }_1,{\epsilon }_2,{\epsilon }_3)\mathrm{diag}(s_1,s_2,s_3)$

其中 $s_i^2=d_i$ , 注意 $\mathrm{diag}(s_1,s_2,s_3{)}^T=\mathrm{diag}(s_1,s_2,s_3)$

以射影变换$U\mathrm{diag}(s_1,s_2,s_3)$ 作用于二次曲线$C^{\prime }$

$C^{\prime }\stackrel{x^{{}^{\prime \prime }}=\mathrm{diag}(s_1,s_2,s_3)x^{{}^{\prime }}}{\to }{C}^{\prime \prime }=\mathrm{diag}(s_1,s_2,s_3{)}^{-T}{C}^{\prime }\mathrm{diag}(s_1,s_2,s_3{)}^{-1}=\mathrm{diag}({\epsilon }_1,{\epsilon }_2,{\epsilon }_3)$

二次曲线的仿射分类

在欧氏几何中，非退化二次曲线可以分为双曲线、椭圆和抛物线.

在射影几何中这三种类型的二次曲线却都射影等价于圆.(上文)

在仿射几何中，上述欧氏分类仍有效（还是能分辨双曲线、椭圆和抛物线），因为它仅取决于${\mathbf{I}}_{\infty }$与二次曲线的关系

不动点与直线

由${\mathbf{I}}_{\infty }$ 和虚圆点，我们已经知道点和直线在射影变换下可能是不动的

$H_{3\times 3}e=\lambda e$

关键思想是变换的一个特征矢量对应一个不动点 $e与\lambda e$ 表示同一点

• 如果特征值互不相同，则一个平面射影变换最多有3个不动点
• 如果有两个特征值相等（${\lambda }_2={\lambda }_3$）
  • 对应于 ${\lambda }_2={\lambda }_3$ 存在两个不同的特征矢量 $e_2,e_3$ 那么包含特征矢量$e_2,e_3$ 的直线将是点点不动的
  • 对应于 ${\lambda }_2={\lambda }_3$ 只有一个特征矢量，在这种情况下，特征矢量的代数维数为二，而几何维数为一.其不动点少了一个(2个而不是3个)

变化层次

欧式变换

相似变换

仿射变换

$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& t_x\\ a_{21}& a_{22}& t_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$ 或 ${\mathbf{x}}^{\prime }=H_A\mathbf{x}=\left[\begin{array}{cc}A& \mathbf{t}\\ 0^T& 1\end{array}\right]\mathbf{x}$

理解仿射变换中线性成分$\mathbf{A}$ 的几何效应的一个有益方法是把它看作两个基本变换旋转和非均匀缩放的复合，仿射矩阵$\mathbf{A}$ 总能分解为

$\mathbf{A}=UD{V}^T=(U{V}^T)(VD{V}^T)=R(\theta )(R(-\varphi )DR(\varphi ))$

$D=\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]$

因此，仿射矩阵$\mathbf{A}$ 被看成是一个 旋转$(\varphi )$加上在（已旋转）的x和y方向分别进行按比例因子${\lambda }_1,{\lambda }_2$* 的缩放，再加上一个回转*$(-\varphi )$与 最后一个旋转$(\theta )$* *的复合变换.

与相似变换相比，“新”几何仅仅是非均匀缩放，它使仿射变换比相似变换多了两个自由度，它们是缩放方向的角度 $(\varphi )$ 和缩放参数比率${\lambda }_1:{\lambda }_2$ ，仿射变换的本质是在一个特定角的两个垂直方向上进行缩放，图给出两个示意性例子，

射影变换

${\mathbf{x}}^{\prime }=H_p\mathbf{x}=\left[\begin{array}{cc}A& \mathbf{t}\\ {\mathbf{v}}^T& v\end{array}\right]\mathbf{x}$

${\mathbf{v}}^T=(v_1,v_2{)}^T$

射影与仿射变换的根本区别在于：射影变换中矢量$\mathbf{v}$不是零，由它引起射影变换的非线性效应。把理想点$(x_1,x_2,0{)}^T$ 在仿射和射影变换下的映射做一个对比

1. 经过仿射变换,理想点仍是理想点，但不是点点不动

$\left[\begin{array}{cc}\mathbf{A}& \mathbf{t}\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ 0\end{array}\right]=\left[\begin{array}{c}\mathbf{A}\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\\ 0\end{array}\right]$

2. 或 经过仿射变换,无穷远线仍是无穷远线

${\mathbf{I}}_{\infty }^{{}^{\prime }}={\mathbf{H}}_A^{-T}{\mathbf{I}}_{\infty }=\left[\begin{array}{cc}{A}^{-T}& 0\\ -{\mathbf{t}}^T{A}^{-T}& 1\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]={\mathbf{I}}_{\infty }$

3. 经过射射变换,理想点不是理想点，正是因为具有这种能力，射影变换能对消影点建模，

$\left[\begin{array}{cc}A& \mathbf{t}\\ {\mathbf{v}}^T& v\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ 0\end{array}\right]=\left[\begin{array}{c}\mathbf{A}\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\\ v_1{x}_1+v_2{x}_2\end{array}\right]$

射影变换的分解

KaTeX parse error: \tag works only in display equations

其中$\mathbf{A}=s\mathbf{RK}+\mathbf{t}{\mathbf{v}}^T/v$ ,而$\mathbf{K}$ 是满足$det(\mathbf{K})=1$ 的归一化上三角矩阵，如果$v\ne 0$ 上述分解是有效的，而且如果s取正值，它还是唯一的.矩阵 ${\mathbf{H}}_{\mathbf{S}},{\mathbf{H}}_{\mathbf{A}},{\mathbf{H}}_{\mathbf{P}}$分别是相似变换、仿射变换和射影变换

$\mathbf{H}=\left[\begin{array}{ccc}1.707& 0.586& 1.0\\ 2.707& 8.242& 2.0\\ 1.0& 2.0& 1.0\end{array}\right]=\left[\begin{array}{ccc}2cos45^{\circ }& -2sin45^{\circ }& 1\\ 2sin45^{\circ }& 2cos45^{\circ }& 2\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}0.5& 1& 0\\ 0& 2& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 1& 2& 1\end{array}\right]$

不变量

交比不变性（$1D或{\mathbf{IP}}^1$ ）

${\overline{\mathbf{x}}}^{\prime }=H_{2\times 2}\overline{\mathbf{x}}$

交比: 交比是 ${\mathbf{IP}}^1$ 的基本射影不变量

$\text{Cross}({\bar{\mathbf{x}}}_1,{\bar{\mathbf{x}}}_2,{\bar{\mathbf{x}}}_3,{\bar{\mathbf{x}}}_4)=\frac{|{\bar{\mathbf{x}}}_1{\bar{\mathbf{x}}}_2||{\bar{\mathbf{x}}}_3{\bar{\mathbf{x}}}_4|}{|{\bar{\mathbf{x}}}_1{\bar{\mathbf{x}}}_3||{\bar{\mathbf{x}}}_2{\bar{\mathbf{x}}}_4|}$

$|{\bar{\mathbf{x}}}_i{\bar{\mathbf{x}}}_j|=\left[\begin{array}{cc}{x}_{i1}& x_{i2}\\ x_{j1}& x_{j2}\end{array}\right]$

关于交比的几点注释如下：

(1)交比的值与各点${\bar{\mathbf{x}}}_i$ ,所用的具体的齐次表示无关，因为分子和分母的缩放因子在它们之间抵消。

(2)如果每点${\bar{\mathbf{x}}}_i$ ,都是有限点，并在齐次表示中均选择$x_2=1$ ,那么$|{\bar{\mathbf{x}}}_i{\bar{\mathbf{x}}}_j|$ 就表示由${\bar{\mathbf{x}}}_i$ 到${\bar{\mathbf{x}}}_j$ 的带符号的距离.

(3)如果点${\bar{\mathbf{x}}}_i$ 中有一个理想点，交比的定义仍然有效，

(4)在任何直线的射影变换下，交比的值不变${\overline{\mathbf{x}}}_1^{\prime }={\mathbf{H}}_{2\times 2}{\overline{\mathbf{x}}}_1$ ：如果,则

$\mathrm{Cross}({\overline{\mathbf{x}}}_1^{\prime },{\overline{\mathbf{x}}}_2^{\prime },{\overline{\mathbf{x}}}_3^{\prime },{\overline{\mathbf{x}}}_4^{\prime })=\mathrm{cross}({\overline{\mathbf{x}}}_1,{\overline{\mathbf{x}}}_2,{\overline{\mathbf{x}}}_3,{\overline{\mathbf{x}}}_4)$

共点线: 共点线 是 直线上共线点(1D) 的 对偶.这意味着平面上的共点线也有几何${\mathbf{IP}}^1$ ,特别是，任何四条共点线都有一个确定的交比，如图19a所示

消除失真

消除影射失真时，图像中可能含有多个平面（墙面和地面），因此对图像中墙面消除影射失真，得到$H^{-1}$再用此变换作用于整幅图像时， 会导致地面出现部分失真，需要通过另一个射影变换加以消除

KaTeX parse error: \tag works only in display equations

自由度

• 欧式（3） ： 旋转角度$(\theta )$ + 平移$(t_x,t_y)$
• 相似（1）： 比例因子 $s$
• 仿射（2）：缩放方向的角度 $(\varphi )$ 和 缩放参数 比率${\lambda }_1:{\lambda }_2$
• 影射（2）：${\mathbf{v}}^T=(v_1,v_2{)}^T$

$影射\underset{2dof}{\overset{{\mathbf{I}}_{\infty }}{\to }}仿射\underset{2dof}{\overset{2个虚圆点}{\to }}相似\to 欧式$

• 辨认${\mathbf{I}}_{\infty }$** 就能恢复仿射性质**

一条直线上有已知长度比的两个线段

• 辨认$C_{\infty }^{\ast }$** ，就能恢复相似性质**

世界平面上两个直角 或

一个圆的影像（其像在仿射矫正过的图像中是椭圆，该椭圆和的${\mathbf{I}}_{\infty }$ 交点直接确定被影像的虚圆点） 或

两个已知的长度比

辨认${\mathbf{I}}_{\infty }$** 就能恢复仿射性质**

在射影变换$\mathbf{H}$ 下，无穷远直线 ${\mathbf{I}}_{\infty }$ 为不动直线的充要条件是$\mathbf{H}$ 是仿射变换。但是，在仿射变换下， ${\mathbf{I}}_{\infty }$ 不是点点不动的: 在仿射变换下的理想点被映射为${\mathbf{I}}_{\infty }$ 的点 . 辨认${\mathbf{I}}_{\infty }$** 就能恢复仿射性质**（平行，面积比)

一个转弯不大却更适合于计算机算法的途径是直接把已辨认的${\mathbf{I}}_{\infty }$ 变换到它的规范位置${\mathbf{I}}_{\infty }=(0,0,1{)}^T$ 。把实现此变换的（射影）矩阵应用于图像中的每一点以达到对图像进行仿射矫正

1. 获得消影线 ${\mathbf{I}}_{\infty }$

消影线 ${\mathbf{I}}_{\infty }$ 可以由平行线的影像的交点来计算，通过确定两个消影点 确定一条直线，消影点通过如下计算

直线上的距离比： 给定一条直线上有已知长度比的两个线段，该直线上的无穷远点便可以确定;

典型的情况是已知

1. 在图像直线上的三个点$a^{\prime },b^{\prime },c^{\prime }$ .

2. a,b,c是世界直线上对应的三个点$a,b,c$，长度比$d(a,b):d(b,c)=a:b$
   求解过程：

3. 在图像中计算直线距离比：$d(a^{{}^{\prime }},b^{{}^{\prime }}):d(b^{{}^{\prime }},c^{{}^{\prime }})=a^{{}^{\prime }}:b^{{}^{\prime }}$

4. 在世界直线$⟨a,b,c⟩$ 上建立坐标系,$a,b,c$ 坐标分别为 $0,a,a+b$ ,把这些点表示为齐次坐标 $(0,1)$ $(a,1)$ $(a+b,1)$

5. 同理，图像直线$⟨a^{\prime },b^{\prime },c^{\prime }⟩$ 为齐次坐标 $(0,1)$ $(a^{{}^{\prime }},1)$ $(a^{{}^{\prime }}+b^{{}^{\prime }},1)$

6. 相对于这些坐标系,计算使$a\to a^{{}^{\prime }},b\to b^{{}^{\prime }},c\to c^{{}^{\prime }}$ 的1D射影变换$H_{2\times 2}$

7. 世界直线$⟨a,b,c⟩$的无穷远点$(1,0)$ 经过变换$H_{2\times 2}$ ，得到图像直线$⟨a^{\prime },b^{\prime },c^{\prime }⟩$ 的消影点

8. 计算矫正矩阵$H$

如果无穷远直线的像是$\mathbf{I}={\left(l_1,l_2,l_3\right)}^T$ ,假定$l_3\ne 0$, 那么把$\mathbf{I}$ 映射回的一个合适的射影点变换是

$H=H_A\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ l_1& l_2& l_3\end{array}\right]$

其中$H$ 可取为任何仿射变换($H$ 的最后一行是${\mathbf{I}}^T$ )

辨认$C_{\infty }^{\ast }$** ，就能恢复相似性质**

虚圆点及其对偶

在相似变换下${\mathbf{I}}_{\infty }$ 上有两个不动点。它们是虚圆点（也称绝对点）$\mathbf{I},\mathbf{J}$

在射影变换$\mathbf{H}$ 下，虚圆点$\mathbf{I},\mathbf{J}$ 为不动点充要条件是$\mathbf{H}$ 是相似变换。

• 虚圆点

$\mathbf{I}=\left[\begin{array}{c}1\\ i\\ 0\end{array}\right]$ $\mathbf{J}=\left[\begin{array}{c}1\\ -i\\ 0\end{array}\right]$

${\mathbf{I}}^{\prime }={\mathbf{H}}_{\mathbf{s}}\mathbf{I}=\left[\begin{array}{ccc}s\cos \theta & -s\sin \theta & t_x\\ s\sin \theta & -s\cos \theta & t_y\\ 0& 0& 1\end{array}\right]=s{e}^{-i\theta }\left[\begin{array}{c}1\\ i\\ 0\end{array}\right]=\mathbf{I}$

代数上，虚圆点是把欧氏几何中两正交方向合并到一个复共轭中，即$\mathbf{I}=(1,0,0{)}^{⊺}+i(0,1,0{)}^{⊺}$ , 因此，不足为奇，一旦虚圆点被辨认，正交性和其他的度量性质就可以被确定

• 与虚圆点对偶的二次曲线

${\mathbf{C}}_{\infty }^{\ast }=\mathbf{I}{\mathbf{J}}^{⊺}+\mathbf{J}{\mathbf{I}}^{⊺}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]$

在射影变换$\mathbf{H}$ 下，对偶的二次曲线${\mathbf{C}}_{\infty }^{\ast }$ 为不动点充要条件是$\mathbf{H}$ 是相似变换。

在射影平面上，一旦$C_{\infty }^{\ast }$** 被辨认，那么射影失真可以矫正到相差一个相似变换**

射影变换下两直线的夹角 $\mathbf{I}=(l_1,l_2,l_3{)}^T,\mathbf{m}=(m_1,m_2,m_3{)}^T$

$\cos \theta =\frac{{\mathbf{I}}^T{\mathbf{C}}_{\infty }^{\ast }\mathbf{m}}{\sqrt{\left({\mathbf{I}}^T{\mathbf{C}}_{\infty }^{\ast }\mathbf{I}\right)\left({\mathbf{m}}^T{\mathbf{C}}_{\infty }^{\ast }\mathbf{m}\right)}}$ ${\mathbf{I}}^T{\mathbf{C}}_{\infty }^{\ast }\mathbf{m}=0\Rightarrow \theta =90^{\circ }$

1. 在已矫正为仿射的图像（辨认${\mathbf{I}}_{\infty }$）上， 为了确定度量矫正，我们需要两个约束以便能够确定虚圆点的两个自由度，这两个约束可以由以下条件获得
   • 世界平面上两个直角 或
   • 一个圆的影像（其像在仿射矫正过的图像中是椭圆，该椭圆和的${\mathbf{I}}_{\infty }$ 交点直接确定被影像的虚圆点） 或
   • 两个已知的长度比
2. 直接在一幅透视图像中辨认$C_{\infty }^{\ast }$** ，**不用辨认先${\mathbf{I}}_{\infty }$
   • 世界平面上五个正交的直线对的图像确定（线性方程组）