MV：成像几何(1)

1. 实物与图片坐标之间的转换

示例：用图像引导机器人的针头插入
任务:根据器官的透视投影图像进行多根针插入
真实世界坐标中的目标物体被摄像头捕捉到，并在图片坐标中存储为图片。（假设所有目标物都在同一平面）机器人以此为判断依据，把针头插入目标物。

1.1 校准

Calibration校准，是识别转换参数的过程

图片：
$\left[\begin{array}{c}x\\ y\end{array}\right]$
物体：
$\left[\begin{array}{c}X\\ Y\end{array}\right]$
$$\left[\begin{array}{c}x\\ y\end{array}\right]=PRT\left[\begin{array}{c}X\\ Y\end{array}\right]$$
T: translation平移 R: rotation旋转 P:perspective projection透视投影
$$T(-w):\left[\begin{array}{c}X\\ Y\end{array}\right]+\left[\begin{array}{c}-v_x\\ -v_y\end{array}\right]=\left[\begin{array}{c}{X}^{\prime }\\ Y^{\prime }\end{array}\right]$$

$$R(-\alpha ):\left[\begin{array}{cc}cos\alpha & -sin\alpha \\ sin\alpha & cos\alpha \end{array}\right]\left[\begin{array}{c}{X}^{\prime }\\ Y^{\prime }\end{array}\right]=\left[\begin{array}{c}{X}^{\prime \prime }\\ Y^{\prime \prime }\end{array}\right]$$
$$P:-\beta \left[\begin{array}{c}{X}^{\prime \prime }\\ Y^{\prime \prime }\end{array}\right]=\left[\begin{array}{c}x\\ y\end{array}\right]$$
$$T:\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$$
$a_{ij}:$transformation parameters转换参数
$$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\left[\begin{array}{cccccc}X& Y& 1& 0& 0& 0\\ 0& 0& 0& X& Y& 1\end{array}\right]\left[\begin{array}{c}{a}_{11}\\ a_{12}\\ a_{13}\\ a_{21}\\ a_{22}\\ a_{23}\end{array}\right]$$
$$\left[\begin{array}{c}{x}_1\\ y_1\\ x_2\\ y_2\\ \\ x_N\\ y_N\end{array}\right]=\left[\begin{array}{cccccc}{X}_1& Y_1& 1& 0& 0& 0\\ 0& 0& 0& X_1& Y_1& 1\\ X_2& Y_2& 1& 0& 0& 0\\ 0& 0& 0& X_2& Y_2& 1\\ & & & & & \\ X_N& Y_N& 1& 0& 0& 0\\ 0& 0& 0& X_N& Y_N& 1\end{array}\right]\left[\begin{array}{c}{a}_{11}\\ a_{12}\\ a_{13}\\ a_{21}\\ a_{22}\\ a_{23}\end{array}\right]$$
$a=(X^{T}X{)}^{-1}{X}^{T}x$是最小误差$||x-Xa|{|}^2$的解（最小二乘逼近）。
（最小二乘逼近的详细推导在supply中）

假设我们做了一系列的实验，期望输出$y$被一个关于$t$的线性函数近似，$y=C+Dt$；
$$\begin{array}{c}{y}_1=C+D{t}_1\\ y_2=C+D{t}_2\\ ...\\ y_N=C+D{t}_N\end{array}\to \left[\begin{array}{c}{x}_1\\ y_1\\ ...\\ y_N\end{array}\right]=\left[\begin{array}{cc}1& t_1\\ 1& t_2\\ ...& \\ 1& t_N\end{array}\right]\left[\begin{array}{c}C\\ D\end{array}\right]\to b=Ax$$
$$A^{T}Ax=A^{T}b\to A^{T}A\left[\begin{array}{c}\bar{C}\\ \bar{D}\end{array}\right]=A^{T}b\to \left[\begin{array}{c}\bar{C}\\ \bar{D}\end{array}\right]=(A^{T}A{)}^{-1}{A}^{T}b\to \left[\begin{array}{c}\bar{C}\\ \bar{D}\end{array}\right]={\left[\begin{array}{cc}N& \sum t_i\\ \sum t_i& \sum t_i^2\end{array}\right]}^{-1}\left[\begin{array}{c}\sum y_i\\ \sum t_i{y}_i\end{array}\right]$$

2. 齐次坐标

Homogeneous coordinates齐次坐标，齐次向量对应于一条经过原点的直线。

$$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]\leftrightarrow \left[\begin{array}{c}kx\\ ky\\ kz\\ 1\end{array}\right],k\ne 0$$
齐次坐标的优势：平移和透视变换可以用矩阵形式表示，连续几何变换可以表示为具有矩阵乘法的一系列矩阵。

图像点：
$$u_i=\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]\to {\hat{u}}_i=\left[\begin{array}{c}k{x}_i\\ k{y}_i\\ k\end{array}\right]$$
实物点：
$$X_0=\left[\begin{array}{c}{x}_0\\ y_0\\ z_0\end{array}\right]\to {\hat{X}}_0=\left[\begin{array}{c}k{x}_0\\ k{y}_0\\ k{z}_0\\ k\end{array}\right]$$
在齐次坐标的平移：
$${\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]}_{new}=\left[\begin{array}{cccc}1& 0& 0& t_x\\ 0& 1& 0& t_y\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$$
$$T^{-1}=\left[\begin{array}{cccc}1& 0& 0& -t_x\\ 0& 1& 0& -t_y\\ 0& 0& 1& -t_z\\ 0& 0& 0& 1\end{array}\right]$$
缩放：
$$S=\left[\begin{array}{cccc}{S}_x& 0& 0& 0\\ 0& S_y& 0& 0\\ 0& 0& S_z& 0\\ 0& 0& 0& 1\end{array}\right]$$
旋转：

$$R_{z,\theta }=\left[\begin{array}{cccc}cos\theta & sin\theta & 0& 0\\ -sin\theta & cos\theta & 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]R_{x,\alpha }=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& cos\alpha & sin\alpha & 0\\ 0& -sin\alpha & cos\alpha & 0\\ 0& 0& 0& 1\end{array}\right]R_{y,\beta }=\left[\begin{array}{cccc}cos\beta & 0& -sin\beta & 0\\ 0& 1& 0& 0\\ sin\beta & 0& cos\beta & 0\\ 0& 0& 0& 1\end{array}\right]$$
复合变换：
$$A=R_{z,\theta }ST\to P^{\prime }=AP$$
透视投影：从平面上的一点到三维空间的反透视变换对应于一条直线，即一个齐次向量。

$Z>>f$
相似三角形:
$\frac{x}{f}=-\frac{X}{Z-f}=\frac{X}{f-Z}$
$\frac{y}{f}=-\frac{Y}{Z-f}=\frac{Y}{f-Z}$
矩阵形式的透视投影：
$$c_h=P{w}_h=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& -\frac{1}{f}& 1\end{array}\right]\left[\begin{array}{c}kX\\ kY\\ kZ\\ k\end{array}\right]=\left[\begin{array}{c}kX\\ kY\\ kZ\\ -\frac{kZ}{f}+k\end{array}\right]$$
图像点的笛卡尔坐标：
$$c=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}\frac{fX}{f-Z}\\ \frac{fY}{f-Z}\\ \frac{fZ}{f-Z}\end{array}\right]$$
反透视变换映射图像点回到三维:
$W_h=P^{-1}{C}_h$
$$P^{-1}=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& -\frac{1}{f}& 1\end{array}\right]$$

3. Camera Model and Calibration

Camera Model：
实际中，摄像机和世界系统不一致，安装在gimbal万向架上的摄像机可以调整$x$轴和$X$轴之间的角度和$z$轴和$Z$轴之间的角度。

1.从世界坐标原点到万向节中心的平移
2.$x$轴平移(绕$z$轴旋转一个角度$\theta$)
-平移角是在$x$轴和$X$轴之间测量的。
3.$z$轴的倾斜(绕$x$轴旋转一个$\alpha$)
-倾斜角度是测量之间的$z$和$Z$轴。
4.从万向节中心到摄像机坐标系原点的平移。
5.从意象点到世界点的透视转换。
$$C_h=PT(r)R_x(\alpha )R_z(\theta )T(w_0)W_h$$
在齐次坐标下，场景点或实物点在世界坐标$X$上的投影到图像点$u$由一个简单的线性映射给出。
$$u=MX\to \left[\begin{array}{c}kX\\ kY\\ kZ\\ k\end{array}\right]=\left[\begin{array}{cccc}{a}_{11}& a_{12}& a_{13}& a_{14}\\ a_{21}& a_{22}& a_{23}& a_{24}\\ a_{31}& a_{32}& a_{33}& a_{34}\\ a_{41}& a_{42}& a_{43}& a_{44}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$
如果缩放系数为1：
$$\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_{11}& a_{12}& a_{13}& a_{14}\\ a_{21}& a_{22}& a_{23}& a_{24}\\ a_{31}& a_{32}& a_{33}& a_{34}\\ a_{41}& a_{42}& a_{43}& a_{44}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$$
在接收平面上$z=0$，忽略掉$z$项：
$$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_{11}& a_{12}& a_{13}& a_{14}\\ a_{21}& a_{22}& a_{23}& a_{24}\\ a_{31}& a_{32}& a_{33}& a_{34}\\ a_{41}& a_{42}& a_{43}& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$
有11个自由参数，可以改写为：
$$\begin{gathered} \left[\begin{array}{c}x\\ y\end{array}\right]=X\alpha \\ X=\left[\begin{array}{ccccccccccc}X& Y& Z& 1& 0& 0& 0& 0& -xX& -xY& -xZ\\ 0& 0& 0& 0& X& Y& Z& 1& -yX& -yY& -yZ\end{array}\right]\alpha =\left[\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ {\alpha }_3\\ {\alpha }_4\\ {\alpha }_5\\ {\alpha }_6\\ {\alpha }_7\\ {\alpha }_8\\ {\alpha }_9\\ {\alpha }_{10}\\ {\alpha }_{11}\end{array}\right] \end{gathered}$$