相机标定 Camera Calibration

gyyc233

已于 2022-12-17 17:46:06 修改

阅读量732

点赞数

文章标签：计算机视觉 opencv 人工智能

于 2022-12-17 17:44:55 首次发布

本文链接：https://blog.csdn.net/qq_36470349/article/details/128355373

版权

相机标定 Camera Calibration

将相机抽象成针孔模型进行建模，同时因为透镜的存在，光线投影到成像平面的过程中会产生畸变(distortion)

相机标定的目的：寻找像素坐标系到世界坐标系之间的转换关系。

相机标定标什么？

相机内参：f_x f_y c_x c_y f(这个可以已知，可能和d_x d_y 包含到f_x f_y) 畸变项：k₁ k₂ k₃ p₁ p₂

相机外参：R T

四个坐标系与针孔模型

相机针孔模型

camera pinhole model
在这里插入图片描述

成像平面(image plane)：相机的CCD平面，图像在这个平面上形成，注意后续讨论的image plane一般会是指的呈现正像的那个平面Virtual image plane。
Focal lenth 相机焦距

四个坐标系

相机标定涉及以下四个坐标系

世界坐标系world coordinate (x_w,y_w,z_w)，是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自由确定。
相机坐标系camera coordinate (x_c,y_c,z_c)，原点位于镜头光心处（针孔模型中的针孔），x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。
图像坐标系：物理成像平面，原点是相机光轴与成像平面的交点，是图像的中心点，坐标用x,y表示
像素坐标系：是图像像素坐标，( $u$ , $v$ )表示，原点在图像左上角

在这里插入图片描述

世界坐标系到相机坐标系转换

$\begin{bmatrix}{X_{c}}\\{Y_{c}}\\{Z_{c}}\\{1}\\\end{bmatrix} =\begin{bmatrix}{R}&{t}\\{0}&{1}\\\end{bmatrix} \begin{bmatrix}{X_{w}}\\{Y_{w}}\\{Z_{w}}\\{1}\\\end{bmatrix}$

假设物体在空间中的三维点坐标为(X_w,Y_w,Z_w)，通过一个刚体变换（左乘该刚体 rigid 变换），变换到相机坐标系，此时坐标变为(X_c,Y_c,Z_c)。为了满足矩阵乘法，添加了1

相机坐标系到图像坐标系的转换

相机坐标系中的点，根据相似三角形关系，映射到光信后方的成像平面（倒像）。根据虚拟成像平面得到正像。

根据比例关系，图像坐标系中点的单位为mm
相机坐标系点(X_c,Y_c,Z_c) 图像坐标系点(x,y)

在这里插入图片描述

$x/f={X_{c}}/{Z_{c}}\\ y/f={Y_{c}}/{Z_{c}}$

$x={X_{c}}*f/{Z_{c}}\\ y={Y_{c}}*f/{Z_{c}}$

等式两边配平

$\begin{bmatrix}x\\y\\1\end{bmatrix} =\begin{bmatrix}{f/Z_{c}}&0&0&0\\0&{f/Z_{c}}&0&0\\0&0&{1/Z_{c}}&0\end{bmatrix} \begin{bmatrix}{X_{c}}\\{Y_{c}}\\{Z_{c}}\end{bmatrix}$

图像坐标系到像素坐标系的转换

像素坐标系与成像平面之间，相差了一个缩放和一个原点的平移。我们设像素坐标在 u 轴上缩放了 α 倍，在 v 上缩放了 β 倍。

像素坐标单位是pixel，不含有mm这些距离相关的信息。

假设：

图像x方向每个像素对应d_x mm的物理距离（在物距为f时），图像y方向每个像素对应d_y mm的物理距离（在物距为f时）
- 1/d_x 含义： x方向每毫米的像素数
- 1/d_y 含义： y方向每毫米的像素数
[c_x,c_y]是图像坐标系原点在像素坐标系下的坐标

$\left\{\begin{matrix}u={c_{x}}+x/{d_{x}}\\v={c_{y}}+y/{d_{y}}\end{matrix}\right.$

等式两边配平
$\begin{bmatrix}u\\v\\1\end{bmatrix} =\begin{bmatrix} 1/{d_{x}}&0&{c_{x}}\\ 0&1/{d_{y}}&{c_{y}}\\ 0&0&1 \end{bmatrix} \begin{bmatrix} x\\y\\1 \end{bmatrix}$

世界坐标系到像素坐标系的转换

$\begin{bmatrix} u\\v\\1 \end{bmatrix} =\begin{bmatrix} 1/{d_{x}}&0&{c_{x}}\\ 0&1/{d_{y}}&{c_{y}}\\ 0&0&1 \end{bmatrix} \begin{bmatrix}{f/Z_{c}}&0&0&0\\0&{f/Z_{c}}&0&0\\0&0&{1/Z_{c}}&0\end{bmatrix} \begin{bmatrix}{R}&{t}\\{0}&{1}\\\end{bmatrix} \begin{bmatrix}{X_{w}}\\{Y_{w}}\\{Z_{w}}\\{1}\\\end{bmatrix}$

在这里插入图片描述

相机内参 intrinsics parameters

将以下矩阵的乘积成为相机内参矩阵intrinsics matrix

解释了相机坐标系到像素坐标系的变换关系
(2)式一般称为内参矩阵

$\begin{bmatrix} 1/{d_{x}}&0&{c_{x}}\\ 0&1/{d_{y}}&{c_{y}}\\ 0&0&1 \end{bmatrix} \begin{bmatrix}{f/Z_{c}}&0&0&0\\0&{f/Z_{c}}&0&0\\0&0&{1/Z_{c}}&0\end{bmatrix} \tag{1}$

$\begin{bmatrix} {f_{x}}&s&{c_{x}}&0\\ 0&{f_{y}}&{c_{y}}&0\\ 0&0&1&0 \end{bmatrix} \tag{2}$

s的定义，普通计算时，一般将s假设为0

在这里插入图片描述

相机外参 extrinsics parameters

刚体变换。相机外参矩阵extrinsics matrix 4*4

可以用来表示相机在世界坐标系中的位姿

$\begin{bmatrix}{R}&{t}\\{0}&{1}\\\end{bmatrix}$

畸变模型

由透镜引起的畸变称为径向畸变 Radial distortion

在这里插入图片描述

桶形畸变 barrel distortion 越靠近图像中心，图像越被放大

枕型畸变 pincushion distortion 越远离图像中心，图像越被放大

由于透镜与成像平面不平行而导致的畸变成为切向畸变 Tangential Distortion
在这里插入图片描述

两种畸变计算(x_distorted, y_distorted)
$\left\{\begin{matrix}x_{distorted}=x(1+{k_{1}r^{2}}+{k_{2}r^{4}}+{k_{3}r^{6}})+[2*p_1*x*y+p_2(r^2+2*x^2)]\\y_{distorted}=y(1+{k_{1}r^{2}}+{k_{2}r^{4}}+{k_{3}r^{6}})+[2*p_1*(r^2+2*y^2)+p_2*x*y]\end{matrix}\right.$
在没有畸变时，相机坐标系到像素坐标系的转换
$\left\{ \begin{matrix} u=f_x*X_c+c_x\\ v=f_x*Y_c+c_y \end{matrix} \right.$
引入畸变后
$\left\{ \begin{matrix} u=f_x*X_{distorted}+c_x\\ v=f_x*Y_{distorted}+c_y \end{matrix} \right.$

径向畸变模型

坐标点沿着长度方向发生了变化，也就是距离原点的长度发生变化

(x_distorted, y_distorted)

r² = x²+y² (将x,y 转成极坐标表示[r,/σ])

k₁ k₂k₃ 径向畸变系数
$\left\{ \begin{matrix} x_{distorted}=x(1+{k_{1}r^{2}}+{k_{2}r^{4}}+{k_{3}r^{6}})\\ y_{distorted}=y(1+{k_{1}r^{2}}+{k_{2}r^{4}}+{k_{3}r^{6}}) \end{matrix} \right.$