摄像机模型

最新推荐文章于 2024-01-18 00:10:22 发布

看风景的人lsy

最新推荐文章于 2024-01-18 00:10:22 发布

阅读量242

点赞数

分类专栏：计算机视觉中的多视图几何

本文链接：https://blog.csdn.net/qq_28038207/article/details/80412788

版权

计算机视觉中的多视图几何专栏收录该内容

17 篇文章 7 订阅

订阅专栏

基本针孔模型

$(X, Y, Z) T \mapsto (f X / Z, f Y / Z)$ $(X,Y,Z)^T\mapsto(fX/Z,fY/Z)$
齐次坐标表示（两个坐标系的单位长度相同）

⎡ ⎣ ⎢ ⎢ ⎢ X Y Z 1 ⎤ ⎦ ⎥ ⎥ ⎥ \mapsto ⎡ ⎣ ⎢ f X f Y Z ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ f f 1000 ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ X Y Z 1 ⎤ ⎦ ⎥ ⎥ ⎥

$\begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix} \mapsto \begin{bmatrix} fX \\ fY \\ Z \end{bmatrix}= \begin{bmatrix} f &&&0 \\ & f &&0 \\ &&1&0 \end{bmatrix} \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix}$

x = P X, P = d i a g (f, f, 1) [I | 0]

$x=PX,\ \ \ \ \ P=diag(f,f,1)[I|0]$

$p=（p_x,p_y）$ 点不是图像坐标原点，但坐标方向不变

(X, Y, Z) T \mapsto (f X / Z + p x, f Y / Z + p y)

$(X,Y,Z)^T\mapsto(fX/Z+p_x,fY/Z+p_y)$

⎡ ⎣ ⎢ ⎢ ⎢ X Y Z 1 ⎤ ⎦ ⎥ ⎥ ⎥ \mapsto ⎡ ⎣ ⎢ f X + Z p x f Y + Z p y Z ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ f f p x p y 1 000 ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ X Y Z 1 ⎤ ⎦ ⎥ ⎥ ⎥

$\begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix} \mapsto \begin{bmatrix} fX+Zp_x \\ fY+Zp_y \\ Z \end{bmatrix}= \begin{bmatrix} f &&p_x&0 \\ & f &p_y&0 \\ &&1&0 \end{bmatrix} \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix}$

x = K [I | 0] x c a m

$x=K[\ I\ |\ 0\ ]x_{cam}$

世界坐标点 $X \neq X_{cam}$ ，且输入是点世界坐标（同为右手坐标系，单位距离相同）

X c a m = [R 0 T - R C ~ 1] ⎡ ⎣ ⎢ ⎢ ⎢ X Y Z 1 ⎤ ⎦ ⎥ ⎥ ⎥

$X_{cam}= \begin{bmatrix} R&-R\tilde C \\ 0^T & 1\end{bmatrix} \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix}$

x = K R [I | - C ~] X = K [R | t] X

$x=KR[\ I\ |\ -\tilde C\ ]X=K[\ R\ |\ t\ ]X$
其中，

C~ C ~ $\tilde C$ 是摄像机中心的非齐次世界坐标。R是旋转矩阵，

ex=R11excam+R21eycam+R31ezcam e x = R 11 e x c a m + R 21 e y c a m + R 31 e z c a m $e_x=R_{11}e_{xcam}+R_{21}e_{ycam}+R_{31}e_{zcam}$ 。
共9个自由度：K，3个；R，3个；C，3个

到目前，3个坐标系同为右手，且单位距离相同

图像坐标系是以像素为单位的表示，x和y方向上单位距离的像素数分别是 $m_x,m_y$
$K = ⎡ ⎣ ⎢ a x = f m x a y = f m y x 0 = m x p x y 0 = m y p y 1 ⎤ ⎦ ⎥$ $K=\begin{bmatrix} a_x=fm_x&&x_0=m_xp_x \\ &a_y=fm_y&y_0=m_yp_y \\ &&1 \end{bmatrix}$
现在K有4个自由度，总共有10个自由度。

考虑一般性，

K = ⎡ ⎣ ⎢ a x = f m x s a y = f m y x 0 = m x p x y 0 = m y p y 1 ⎤ ⎦ ⎥

$K=\begin{bmatrix} a_x=fm_x&s&x_0=m_xp_x \\ &a_y=fm_y&y_0=m_yp_y \\ &&1 \end{bmatrix}$

s s $s$ 是扭曲参数，在某些特殊情况下可能取非零值。
摄像机矩阵

P = M [I | M^{- 1} p_{4}] = K R [I | - \tilde{C}]

$P=M[\ I\ |\ M^{-1}p_4\ ]=KR[\ I\ |\ -\tilde C\ ]$

齐次坐标的自由度是1，则表示一个点： $k(6,6,6)$ 表示 $(1,1)$
齐次坐标的自由度是2，则表示一条线：考虑y=x+1，上面有点 $(1,2,1),(2,3,1)$ ，那么， $k(1,2,1)+g(2,3,1)=(f+2g,2k+3g,k+g)$ 是线上点的齐次坐标
齐次坐标的自由度是3，则表示一个面
一般的摄像机矩阵的秩是3。这样映射之后才能是一个平面

摄像机矩阵行列的意义

P = [M | p 4]

$P = [ \ M\ | \ p_4\ ]$

摄像机中心：P C=0

x=PX(λ)=λPA+(1−λ)PC=λPA

所以，直线 λA+(1−λ)C 的映射在同一点。所以 X(λ) 是过摄像机中心的一条射线。
当M非奇异， C=(−M−1p4,1)T 。为有限摄像机。
当M奇异， C=(d,0)T 。d是M的零矢量。为无穷远摄像机
- 列矢量：X，Y，Z轴的消影点映射到图像上是 $p_1,p_2,p_3$
- 行矢量 $P^{iT}$ ：
主平面： $P^3$ 。主平面上的点是 $PX=(x,y,0)^T$ ，因此 $P^{3T}X=0$ 。
轴平面：平面 $P^1$ 上的点满足 $P^{1T}X=0$ ，因此被映射到图像 $PX=(0,y,w)^T$ 。又 $PC=0$ ，所以 $P^{1T}C=0$ 。所以，平面 $P^1$ 过C和图像的x轴。
- 主点：主平面是 $P^3$ ，法线方向的无穷远点是 $(p_{31},p_{32},p_{33},0)^T$ 。该点被映射到图像上，为主点。记 $P=[M|p_4]$ ，则主点 $x_0=Mm^3$ 。其中， $m^{3T}$ 是M的第3行。
- 主轴矢量：正方向表示为 $v=det(M)m^3$

kao

图像x的对应空间点齐次坐标
射线上的点有摄像机中心C和 $P^+x$ ，那么射线表示为
$X (λ) = P + x + λ C$ $X(\lambda)=P^+x+\lambda C$
对于有限摄像机x反向投影的射线交无穷远平面于点 $D=((M^{-1}x)^T,0)$ ，摄像机中心是 $\tilde C=-M^{-1}p_4$ 。射线上的点可表示为
$X (μ) = μ [M - 1 x 0] + [- M - 1 p 4 1] = [M - 1 (μ x - p 4) 1]$ $X(\mu)=\mu \begin{bmatrix} M^{-1}x \\ 0 \end{bmatrix}+ \begin{bmatrix} -M^{-1}p_4 \\ 1 \end{bmatrix}= \begin{bmatrix} M^{-1}(\mu x-p_4)\\ 1 \end{bmatrix}$
点的深度
令点 $X=(X,Y,Z,T)^T$ 是一个3D点而 $P=[M|p_4]$ 是一个有限摄像机的矩阵，假定 $P(X,Y,Z,T)^T=w(x,y,1)^T$ ，那么
$d e p t h (X; P) = s i g n ( d e t M ) w T | | m 3 | |$ $depth(X;P)=\frac {sign(detM)w}{T||m^3||}$ 是在摄像机主平面前方的点X的深度

无穷远摄像机

摄像机中心在无穷远的平面上。

仿射摄像机的矩阵P的最后一行形如(0,0,0,1)。它把无穷远点映射为无穷远点
摄像机矩阵 $P 0 = K R [I | - C ~] = K ⎡ ⎣ ⎢ ⎢ r 1 T r 2 T r 3 T - r 1 T C ~ - r 2 T C ~ - r 3 T C ~ ⎤ ⎦ ⎥ ⎥$ $P_0=KR[\ I\ |\ -\tilde C\ ]=K \begin{bmatrix} r^{1T} & -r^{1T}\tilde C \\ r^{2T} & -r^{2T}\tilde C\\ r^{3T} & -r^{3T}\tilde C \end{bmatrix}$
摄像机主射线与矢量 $r^3$ 同方向， $X_z$ 是主轴的世界坐标系方向：
$X C = R X \to e z c = [0, 0, 1] T = R X z \to R T [0, 0, 1] T = X z \to [0, 0, 1] R = X T z \to r 3 T = X T z \to r 3 = X z$ $X_C=RX \to e_{zc}=[0,0,1]^T=RX_z \to R^T[0,0,1]^T=X_z \to [0,0,1]R=X_z^T \to r^{3T}=X_z^T \to r^3=X_z$

$-r^{3T}\tilde C$ 是世界原点到摄像机中心在主射线方向上的距离。注意，这两个坐标系的单位距离相同，原点不同，有旋转

摄像机以单位速度沿主射线向后移动，并使摄像机中心移动到 $\tilde C-tr^3$ ，得

P t = K ⎡ ⎣ ⎢ ⎢ r 1 T r 2 T r 3 T - r 1 T (C ~ - t r 3) - r 2 T (C ~ - t r 3) - r 3 T (C ~ - t r 3) ⎤ ⎦ ⎥ ⎥ = K ⎡ ⎣ ⎢ ⎢ r 1 T r 2 T r 3 T - r 1 T C ~ - r 2 T C ~ d t = - r 3 T (C ~ - t r 3) ⎤ ⎦ ⎥ ⎥

$P_t=K \begin{bmatrix} r^{1T} & -r^{1T}(\tilde C-tr^3) \\ r^{2T} & -r^{2T}(\tilde C-tr^3) \\ r^{3T} & -r^{3T}(\tilde C-tr^3) \end{bmatrix}=K \begin{bmatrix} r^{1T} & -r^{1T}\tilde C \\ r^{2T} & -r^{2T}\tilde C \\ r^{3T} & d_t=-r^{3T}(\tilde C-tr^3) \end{bmatrix}$
改变焦距，增加因子为

k k $k$ ，效果等于在标定矩阵

K

$K$ 右乘

diag(k,k,1) d i a g ( k , k , 1 ) $diag(k,k,1)$

P t = K ⎡ ⎣ ⎢ d t / d 0 d t / d 0 1 ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ r 1 T r 2 T r 3 T - r 1 T C ~ - r 2 T C ~ d t ⎤ ⎦ ⎥ = d t d 0 K ⎡ ⎣ ⎢ ⎢ r 1 T r 2 T r 3 T d 0 / d t - r 1 T C ~ - r 2 T C ~ d 0 ⎤ ⎦ ⎥ ⎥

$P_t=K \begin{bmatrix} d_t/d_0&&\\&d_t/d_0&\\&&1 \end{bmatrix} \begin{bmatrix} r^{1T} & -r^{1T}\tilde C \\ r^{2T} & -r^{2T}\tilde C \\ r^{3T} & d_t \end{bmatrix}=\frac {d_t }{d_0}K \begin{bmatrix} r^{1T} & -r^{1T}\tilde C \\ r^{2T} & -r^{2T}\tilde C \\ r^{3T}d_0/d_t & d_0 \end{bmatrix}$
当

dt d t $d_t$ 无穷大时，

P \infty = lim t \to \infty P t = K ⎡ ⎣ ⎢ r 1 T r 2 T 0 T - r 1 T C ~ - r 2 T C ~ d 0 ⎤ ⎦ ⎥

$P_∞=\lim \limits_{t \to ∞}P_t=K\begin{bmatrix} r^{1T} & -r^{1T}\tilde C \\ r^{2T} & -r^{2T}\tilde C \\0^T & d_0 \end{bmatrix}$

这个过程是后退，并增大焦距使得感兴趣的物体始终保持同样大小

过世界原点并垂直于主轴方向 $r^3$ 的平面上的任何点的图像在上面的变焦和运动复合下保持图像上的映射点不变
$X = [α r 1 + β r 2 1]$ $X=\begin{bmatrix} \alpha r^1+\beta r^2 \\ 1\end{bmatrix}$
对于普通点：
$X = [α r 1 + β r 2 + △ r 3 1]$ $X=\begin{bmatrix} \alpha r^1+\beta r^2+\bigtriangleup r^3 \\ 1\end{bmatrix}$
$x ~ a f f i n e - x ~ 0 = d 0 + △ d 0 (x ~ p r o j - x ~ 0)$ $\tilde x_{affine}-\tilde x_0=\frac {d_0+\bigtriangleup}{d_0}(\tilde x_{proj}-\tilde x_0)$
用 $P_∞$ 仿射近似真实摄像机矩阵 $P_0$ 的效应是把点X的图像径向地靠近或离开点 $\tilde x_0$
仿射射影条件

$x ~ a f f i n e - x ~ p r o j = △ d 0 (x ~ p r o j - x ~ 0)$ $\tilde x_{affine}-\tilde x_{proj}=\frac {\bigtriangleup }{d_0}(\tilde x_{proj}-\tilde x_{0})$
表明真实透视图像的位置与用仿射摄像机 $P_∞$ 逼近的位置之间距离相差不大的条件如下：（1）深度起伏( $\bigtriangleup$ )相对平均深度(\d_0)较小；(2)点离主轴的距离较小

$P_∞$ 的分解

P \infty = lim t \to \infty P t = K ⎡ ⎣ ⎢ r 1 T r 2 T 0 T - r 1 T C ~ - r 2 T C ~ d 0 ⎤ ⎦ ⎥ = [K 2 * 2 (0, 0) T x ~ 0 1] [R^(0, 0, 0) T t^d 0] = [d - 1 0 K 2 * 2 (0, 0) T x ~ 0 1] [R^(0, 0, 0) T t^1]

$P_∞=\lim \limits_{t \to ∞}P_t=K\begin{bmatrix} r^{1T} & -r^{1T}\tilde C \\ r^{2T} & -r^{2T}\tilde C \\0^T & d_0 \end{bmatrix}= \begin{bmatrix} K_{2*2}&\tilde x_0\\ (0,0)^T&1\end{bmatrix} \begin{bmatrix} \hat R &\hat t \\ (0,0,0)^T & d_0\end{bmatrix}= \begin{bmatrix} d_0^{-1}K_{2*2}&\tilde x_0\\ (0,0)^T&1\end{bmatrix} \begin{bmatrix} \hat R &\hat t \\ (0,0,0)^T & 1\end{bmatrix}$
令

K2∗2=d−10K2∗2 K 2 ∗ 2 = d 0 − 1 K 2 ∗ 2 $K_{2*2}=d_0^{-1}K_{2*2}$ ，

P \infty = [K 2 * 2 (0, 0) T K 2 * 2 t^+ x ~ 0 1] [R^(0, 0, 0) T 0^1]

$P_∞=\begin{bmatrix} K_{2*2}& K_{2*2} \hat t+\tilde x_0\\ (0,0)^T&1\end{bmatrix} \begin{bmatrix} \hat R &\hat 0 \\ (0,0,0)^T & 1\end{bmatrix}$
取

x~0=0 x ~ 0 = 0 $\tilde x_0=0$ ，意味着图像坐标原点选择在图像中心

P \infty = [K 2 * 2 0^T 0^1] [R^0 T t^1]

$P_∞=\begin{bmatrix} K_{2*2}& \hat 0\\ \hat 0^T&1\end{bmatrix} \begin{bmatrix} \hat R &\hat t \\ 0^T & 1\end{bmatrix}$

与有限摄像机的区别
$x = K [I | 0] x c a m \to x = [K 2 * 2 0^T 0^1] ⎡ ⎣ ⎢ 100010000001 ⎤ ⎦ ⎥ x c a m$ $x=K[\ I\ |\ 0\ ]x_{cam} \to x=\begin{bmatrix} K_{2*2}& \hat 0\\ \hat 0^T&1\end{bmatrix}\begin{bmatrix} 1&0&0&0\\0&1&0&0\\0&0&0&1\end{bmatrix}x_{cam}$

仿射摄像机的层次

正投影
$P = ⎡ ⎣ ⎢ 100010000001 ⎤ ⎦ ⎥$ $P=\begin{bmatrix} 1&0&0&0\\0&1&0&0\\0&0&0&1\end{bmatrix}$

$(X,Y,Z,1)^t \mapsto(X,Y,1)^T$

P = ⎡ ⎣ ⎢ 100010000001 ⎤ ⎦ ⎥ [R 0 T t 1] = ⎡ ⎣ ⎢ r 1 T r 2 T 0 T t 1 t 2 1 ⎤ ⎦ ⎥

$P=\begin{bmatrix} 1&0&0&0\\0&1&0&0\\0&0&0&1\end{bmatrix}\begin{bmatrix} R& t\\ 0^T&1\end{bmatrix}=\begin{bmatrix} r^{1T}& t_1\\ r^{2T}& t_2\\ 0^T&1\end{bmatrix}$

世界坐标系旋转+平移到摄像机坐标系：有5个自由度

缩放正投影

$P = ⎡ ⎣ ⎢ k k 1 ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ r 1 T r 2 T 0 T t 1 t 2 1 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ r 1 T r 2 T 0 T t 1 t 2 1 / k ⎤ ⎦ ⎥$ $P= \begin{bmatrix}k&&\\&k&\\&&1 \end{bmatrix} \begin{bmatrix} r^{1T}& t_1\\ r^{2T}& t_2\\ 0^T&1\end{bmatrix}=\begin{bmatrix} r^{1T}& t_1\\ r^{2T}& t_2\\ 0^T&1/k\end{bmatrix}$

6个自由度
弱透视投影

$P = ⎡ ⎣ ⎢ α x α y 1 ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ r 1 T r 2 T 0 T t 1 t 2 1 ⎤ ⎦ ⎥$ $P= \begin{bmatrix}\alpha_x&&\\&\alpha_y&\\&&1 \end{bmatrix} \begin{bmatrix} r^{1T}& t_1\\ r^{2T}& t_2\\ 0^T&1\end{bmatrix}$
仿射摄像机 $P_A$

$P A = ⎡ ⎣ ⎢ α x s α y 1 ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ r 1 T r 2 T 0 T t 1 t 2 1 ⎤ ⎦ ⎥$ $P_A= \begin{bmatrix}\alpha_x&s&\\&\alpha_y&\\&&1 \end{bmatrix} \begin{bmatrix} r^{1T}& t_1\\ r^{2T}& t_2\\ 0^T&1\end{bmatrix}$
最一般的形式是
$P A = ⎡ ⎣ ⎢ m 11 m 21 0 m 12 m 22 0 m 13 m 23 0 t 1 t 2 1 ⎤ ⎦ ⎥$ $P_A=\begin{bmatrix} m_{11}&m_{12}&m_{13}&t_1\\ m_{21}&m_{22}&m_{23}&t_2\\0&0&0&1\end{bmatrix}$
要求左上角的 $M_{2*3}$ 的秩是2
仿射摄像机的其他性质
（1）主平面是无穷远平面的任何射影摄像机矩阵都是仿射摄像机矩阵
（2）平行的世界直线被投影为平行的图像直线
（3）满足 $M_{2*3}d=0$ 的矢量 d <script type="math/tex" id="MathJax-Element-1133">d</script>是平行投影的方向