单目相机坐标系转换

最新推荐文章于 2024-04-03 23:40:11 发布

我不是盖世英雄

最新推荐文章于 2024-04-03 23:40:11 发布

阅读量1k

点赞数 22

文章标签：数码相机

本文链接：https://blog.csdn.net/weixin_43739787/article/details/135384513

版权

此处省略vcs/world/camera/image坐标系的定义介绍了哈

世界坐标系到相机坐标系

3维到3维可逆

$\begin{bmatrix} x_{c}\\ y_{c}\\ z_{c}\\ 1 \end{bmatrix}= \begin{bmatrix} R_{3\times3}&t_{3\times1}\\ 0_{1\times3}&1 \end{bmatrix} \begin{bmatrix} x_{w}\\ y_{w}\\ z_{w}=0\\ 1 \end{bmatrix}\tag{1}$

其中 $R_{3\times3}$ 为旋转矩阵， $t$ 为平移向量，它们组成外参矩阵；

Q：为什么右边世界坐标系下向量要多设一行1；
A：在齐次坐标系下使用4个分量来描述三维坐标变换，使得变换矩阵形式更加紧凑，不然就得将矩阵拆开写成加法形式
假设在笛卡尔坐标系下有点 $P(p_{x},p_{y},p_{z})$ ，平移向量为 $t(t_{x},t_{y},t_{z})$ ，无法找到一个矩阵 $M$ 使得

$M\times P=P+t= \begin{bmatrix} p_{x}+t_{x}\\ p_{y}+t_{y}\\ p_{z}+t_{z} \end{bmatrix}$
但是对于齐次坐标系中的点 $P(p_{x},p_{y},p_{z},1)$ ，可以找到一个向量 $M$ 使得

$M\times P=P+t= \begin{bmatrix} p_{x}+t_{x}\\ p_{y}+t_{y}\\ p_{z}+t_{z}\\ 1 \end{bmatrix}$
其中
$\begin{bmatrix} 1&0&0&t_{x}\\ 0&1&0&t_{y}\\ 0&0&1&t_{z}\\ 0&0&0&1 \end{bmatrix}$

相机坐标系到理想图像坐标系（不考虑畸变）

3维到3维，可逆
图像平面（感光板）上某一点 $P(x_{p},y_{p},f)$ ，相机坐标系下对应点 $P(x_{M},y_{M},z_{M})$
由相似三角形原理得
$x_{p}=f\frac{x_{M}}{z_{M}},y_{p}=f\frac{y_{M}}{z_{M}}$
化为齐次坐标
$z_{M} \begin{bmatrix} x_{p}\\ y_{p}\\ 1 \end{bmatrix}=\begin{bmatrix} f&0&0&0\\ 0&f&0&0\\ 0&0&1&0 \end{bmatrix} \begin{bmatrix} x_{M}\\ y_{M}\\ z_{M}\\ 1 \end{bmatrix} \tag{2}$
其中， $f$ 是像距。
实际上像素点再x,y方向上是可能有尺度偏差的，像素块左边与竖直线形成一个夹角a，所以上面矩阵有时写为
$z_{M} \begin{bmatrix} x_{p}\\ y_{p}\\ 1 \end{bmatrix} =\begin{bmatrix} f&tan(a)&0&0\\ 0&f&0&0\\ 0&0&1&0 \end{bmatrix} \begin{bmatrix} x_{M}\\ y_{M}\\ z_{M}\\ 1 \end{bmatrix} \tag{2}$

从理想图像坐标系到实际图像坐标系（考虑畸变）

3维到3维，可逆
透镜的畸变主要分为径向畸变和切向畸变（还有薄透镜畸变等等，但都没有径向和切向畸变影响显著，所以我们在这里只考虑径向和切向畸变）。
径向畸变–>透镜厚度工艺问题（光线在远离透镜中心的地方比靠近中心的地方更加弯曲，导致出现枕型畸变、桶形畸变），表现为极坐标下矢径变化
切向畸变–>组装工艺问题（透镜本身与图像平面不平行），表现为极坐标下角度变化
这部分本人也不了解，可以参考视频介绍：blibli

实际情况中我们常用r=0处的泰勒级数展开的前几项来近似描述径向畸变。矫正径向畸变前后的坐标关系为：
$\begin{cases} x_{corr}=x_{p}(1+k_{1}r^{2}+k_{2}r^{4}+k_{3}r^{6})\\ y_{corr}=y_{p}(1+k_{1}r^{2}+k_{2}r^{4}+k_{3}r^{6})\tag{3} \end{cases}$
切向畸变需要两个额外的畸变参数来描述，矫正前后的坐标关系为：
$\begin{cases} r^2=x_{p}^{2}+y_{p}^{2}\\ x_{corr}=x_{p}+[2p_{1}x_{p}y_{p}+p_{2}(r^{2}+2x_{p}^{2})]\\ y_{corr}=y_{p}+[p_{1}(r^2+2y_{p}^{2}+2p_{2}x_{p}y_{p})]\tag{4} \end{cases}$

综上，我们一共需要5个畸变参数 $k_{1},k_{2},k_{3},p_{1},p_{2}$ 来描述透镜畸变。式（3）中，对于畸变很小的中心区域主要起作用的是 $k_1$ ，对于畸变很大的边缘区域主要起作用的是 $k_2$ ，对于畸变很大的鱼眼相机主要起作用的是 $k_3$

从实际图像坐标系到像素坐标系

由于定义的像素坐标系原点与图像坐标系原点不重合，假设像素坐标系原点在图像坐标系下的坐标为 $u_{0},v_{0})$ ，单个像素点宽高折算在感光板上得物理长度为 $d_{x},d_{y}$
假设像点在实际图像坐标系下的坐标为 $x_{c},y_{c}$ ，于是可得到像点在像素坐标系下的坐标为：
$u=\frac{fx_{c}}{d_{x}}+u_{0},v=\frac{fy_{c}}{d_{y}}+v_{0}$
其中， $f$ 是像距
化为其次坐标表示为
$\begin{bmatrix} u\\ v\\ 1 \end{bmatrix} =\begin{bmatrix} \frac{f}{d_{x}}&0&u_{0}\\ 0&\frac{f}{d_{y}}&v_{0}\\ 0&0&1 \end{bmatrix} \begin{bmatrix} x_{c}\\ y_{c}\\ 1 \end{bmatrix} \tag{5}$

注：有些公式额外提到了感光板横纵边角的系数（通常是90），这里暂不考虑

内外参具体求法

综上，外参公式为式（1），内参公式为式（2）（5），内参公式可以写到一起
假设提供 $K$ 个棋盘图像，每个棋盘有 $N$ 个焦点，于是能得到2KN个约束方程。忽略畸变的情况下，需要求解5个内参（ $u_{0},v_{0},f,d_{x},d_{y}$ ）和6K个外参（ $\theta_{x},\theta_{y},\theta_{z},t_{x},t_{y},t_{z}$ ）。当 $2KN\geq5+6K$ 时，就可以解出无畸变条件下的内参和外参