视觉笔记 - 视觉坐标系

最新推荐文章于 2024-04-19 11:26:36 发布

luoshi006

最新推荐文章于 2024-04-19 11:26:36 发布

阅读量1.5k

点赞数 1

分类专栏： CV

本文链接：https://blog.csdn.net/luoshi006/article/details/80247351

版权

CV 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

by luoshi006
参考：张正友
参考：相机成像原理 - 陈建平

视觉坐标系

图像坐标系

像素（pixel）
像素是数字图像中最小的点（单位色块），其值表示图像点的亮度（灰度）。像素的大小是没有固定长度值的，不同设备上1个单位像素色块的大小是不一样的。

数字图像
相机获取的图像在计算机内以 $\times N$ 数组的形式存储，数组中的元素为像素。

像素坐标系

如图所示，在图像上定义坐标系 $u\text{-}v$ ，每个像素坐标 $(u, v)$ 分别是该像素在图像中的列数和行数，即，得到以像素为单位的坐标 $(u, v)$ 。

图像坐标系

也就是 成像平面坐标系，在焦距 $f$ 处的平面。

建立以 SI 单位（米）表示的图像坐标系 $x\text{-}y$ ，该坐标系以 $o(u_0,v_0)$ 为原点， $x$ 轴、 $y$ 轴分别与 $u$ 轴、 $v$ 轴平行， $(x, y)$ 表示以物理单位度量的图像坐标。在 $x\text{-}y$ 坐标系中，原点 $o$ 定义为相机光轴和成像平面的交点，一般位于图像中心处，称为图像的主点。

原点 $o(u_0,v_0)$ 在 $u\text{-}v$ 坐标系中的坐标为 $u_0,v_0)$ ，每个像素在 $x$ 轴和 $y$ 轴方向上的物理尺寸为 $d x, d y$ 。

相机坐标系

成像模型是指 3D 点到像平面的投影关系。在小孔成像模型中，3D 点 $P$ 投影到像平面上的像点 $p$ ，其中， $O_c$ 为相机光心； $X_c、Y_c$ 轴分别与图像坐标系的 $x 、 y$ 轴平行； $Z_c$ 为相机的光轴，与像平面垂直，相交于点 $o$ ； $f$ 为相机焦距；相机坐标系记为： $O_c \text{-} X_cY_cZ_c$ 。

世界坐标系

相机可安放在场景中的任意位置，所以，在场景中选择一个基准坐标系来描述相机的位姿，以及场景中任何物体的位置（3D 点），该坐标系称为世界坐标系，记为 $O_w \text{-} X_wY_wZ_w$ 。

视觉坐标系变换

世界坐标系与相机坐标系

相机坐标系和世界坐标系的关系用旋转矩阵 $R$ 与平移向量 $t$ 来描述。

$\begin{bmatrix}X_c\\Y_c\\Z_c \end{bmatrix}= R\begin{bmatrix}X_w\\Y_w\\Z_w \end{bmatrix}+t$

$\begin{bmatrix}X_c\\Y_c\\Z_c\\1 \end{bmatrix}= \begin{bmatrix}R & t\\ \vec 0&1 \end{bmatrix} \begin{bmatrix}X_w\\Y_w\\Z_w\\1 \end{bmatrix}$

相机坐标系与图像坐标系

从小孔成像模型中，可以看出相机坐标系与成像平面坐标系之间的相似变换关系：

$\frac{X_c}{Z_c}， y = f \frac{Y_c}{Z_c}$

整理得：

$Z_c\begin{bmatrix}x\\y\\1 \end{bmatrix}= \begin{bmatrix}f & 0 & 0 & 0\\ 0 & f & 0 & 0\\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix}X_c\\Y_c\\Z_c\\1 \end{bmatrix}$

图像坐标系与像素坐标系

$\left \{\begin{aligned} u = \frac{x}{dx}+u_0\\ v = \frac{y}{dy}+v_0 \end{aligned} \right .$
整理得（齐次坐标）：
$\begin{bmatrix} u \\v \\1 \end{bmatrix} = \begin{bmatrix} \frac{1}{dx} & 0 & u_0 \\ 0 & \frac{1}{dy} & v_0 \\ 0 & 0 & 1 \\ \end{bmatrix} \begin{bmatrix} x \\y \\1 \end{bmatrix}$
逆变换为（齐次坐标）：
$\begin{bmatrix} x \\y \\1 \end{bmatrix} = \begin{bmatrix}{dx} & 0 & -u_0 \cdot dx \\ 0 & {dy} & -v_0 \cdot dy \\ 0 & 0 & 1 \\ \end{bmatrix} \begin{bmatrix}u \\v \\1 \end{bmatrix}$

像素坐标系与相机坐标系 [x]

已知相机内参矩阵 $K$ ：
$\begin{aligned} Z_c\begin{bmatrix}u\\v\\1\\ \end{bmatrix} &= \begin{bmatrix}\frac{1}{dx} & 0 & u_0\\ 0 & \frac{1}{dy} & v_0\\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix}f & 0 & 0 & 0\\ 0 & f & 0 & 0\\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix}X_c\\Y_c\\Z_c\\1\end{bmatrix} \\ & = K\begin{bmatrix}X_c\\Y_c\\Z_c\\1\end{bmatrix} \end{aligned}$

世界坐标系与像素坐标系

$\begin{aligned} Z_c\begin{bmatrix}u\\v\\1\\ \end{bmatrix} &= \begin{bmatrix}\frac{1}{dx} & 0 & u_0\\ 0 & \frac{1}{dy} & v_0\\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix}x\\y\\1\\\end{bmatrix}\\ &= \begin{bmatrix}\frac{1}{dx} & 0 & u_0\\ 0 & \frac{1}{dy} & v_0\\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix}f & 0 & 0 & 0\\ 0 & f & 0 & 0\\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix}X_c\\Y_c\\Z_c\\1 \end{bmatrix}\\ &= \begin{bmatrix}\frac{1}{dx} & 0 & u_0\\ 0 & \frac{1}{dy} & v_0\\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix}f & 0 & 0 & 0\\ 0 & f & 0 & 0\\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix}R & t\\ \vec 0&1 \end{bmatrix} \begin{bmatrix}X_w\\Y_w\\Z_w\\1 \end{bmatrix}\\ &= \underbrace{\begin{bmatrix}f_x & 0 & u_0 & 0\\ 0 & f_y & v_0 & 0\\ 0 & 0 & 1 & 0 \end{bmatrix}}_{\textbf{相机内参}} \underbrace{\begin{bmatrix}R & t\\ \vec 0&1 \end{bmatrix}}_{\textbf{相机外参}} \begin{bmatrix}X_w\\Y_w\\Z_w\\1 \end{bmatrix} \end{aligned}$

归一化平面

与像素坐标变换：

$\begin{bmatrix} x_1\\ y_1\\1 \end{bmatrix}= K^{-1}\begin{bmatrix} u\\ v\\1 \end{bmatrix}$

称 $\begin{bmatrix} x_1& y_1&1 \end{bmatrix}^T$ 为像素平面的归一化坐标。

Note
使用归一化坐标计算时，相当于内参矩阵为单位阵，相机焦距为 1。

$Z_c \begin{bmatrix} x_1\\ y_1\\1 \end{bmatrix}= \begin{bmatrix} 1&0&0&0\\ 0&1&0&0\\ 0&0&1&0\\ \end{bmatrix} \begin{bmatrix} X_c\\ Y_c\\Z_c\\1 \end{bmatrix}$