Machine Vision Technology：Lecture11 Camera Model

计算机视觉（本科） 北京邮电大学 鲁鹏

---

针孔模型 & 透镜

• 1.将物体放在胶片前面，物体的每个点都会打在胶片上。

• 2.添加屏障，减少模糊。这样物体的每个点对应胶片中的对应点。

---

针孔摄像机：

• $f$ = 焦距。
• $o$ = 光圈 = 针孔 = 摄像机中心。

下面我们需要将摄像机坐标系上的点转换为像平面坐标系上的点：

$i$ 、$j$ 、$k$ 轴表示 $x$、$y$、$z$ 。

从 $i$ 轴向里看去：

同理从 $j$ 轴向下看去也有类似公式，这样便有：
$$P=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]\to P^{\prime }=\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]$$
其中：
$$\{\begin{array}{rl}{x}^{\prime }& =f\frac{x}{z}\\ y^{\prime }& =f\frac{y}{z}\end{array}$$

---

下面我们讨论光圈尺寸对成像影响：

随着光圈的缩小，成像效果：越来越清晰、越来越暗。

如何应对到达胶片的光线变少？这便有了下面的透镜。

---

• 透镜将多条光线聚焦到胶片上，增加了照片的亮度

• 透镜将光线聚焦到胶片上：
  • 所有平行于光轴的光线都会会聚到焦点，焦点到透镜中心的距离称为焦距。
  • 穿过中心的光线的方向不发生改变。

近轴折射模型：

由折射定律：$f=\frac{R}{2(n-1)}$ 。其中 $R$ 为透镜球面半径，$n$ 为透镜折射系数。

由上面的针孔模型可知：
$$\{\begin{array}{rl}{x}^{\prime }& =z^{\prime }\frac{x}{z}\\ y^{\prime }& =z^{\prime }\frac{y}{z}\end{array}$$
其中 $z^{\prime }=f+z_o$

---

透镜问题：失焦

透镜将光线聚焦到胶片上，物体“聚焦”有特定距离，这便有了景深现象。

---

透镜问题: 径向畸变 透镜工艺问题。

• 径向畸变：图像像素点以畸变中心为中心点,沿着径向产生的位置偏差,从而导致图像中所成的像发生形变

例子：

产生原因：光线在远离透镜中心的地方比靠近中心的地方更加弯曲

摄像机几何

从像平面到像素平面：

• 1.偏置。

我们从针孔/透镜模型中得到了摄像机坐标系转换到像平面坐标系的公式，但真实的像素坐标系的坐标原点在左下角，因此还需要加个偏移，将像平面坐标转换为像素坐标。

• 2.单位变换。

像坐标中的x和y是长度单位（米m）还需要转化为像素单位（pixel）。

乘以转换系数 $k$ 和 $l$ ，其单位为 $pixel/m$

这便有了从 $P$ 到 $P^{\prime }$ 的转换公式。
$$P=(x,y,z)\to P^{\prime }=(\alpha \frac{x}{z}+c_x,\beta \frac{y}{z}+c_y)$$
从 $P$ 到 $P^{\prime }$ 的变换不是线性的。我们使用下面的方法进行线性转换。

---

欧式空间与齐次坐标：

在欧式空间（笛卡尔空间）中，使用坐标描述2D/3D几何非常合适，例如2维欧式空间中的点表示为(x , y)，3维空间中点表示为(x , y , z)。但是这种方法不适用于透视空间，当一个点位于无穷远处时，该点的欧氏空间坐标中会出现 $\infty$，这显然不合适，而使用齐次坐标能够很好的解决此问题。

齐次坐标就是在欧氏空间表示的基础上增加一个额外的变量w来表示原本的坐标$(X,Y)$，并同时需要令 $x=X\times w$ ，$y=Y\times w$ ，最终得到齐次坐标 $(x,y,w)$ ，$w$ 为非0变量，只有点在无穷远处时才等于0。

当点在二维空间的无穷远处时，它的笛卡尔坐标系为 $(\infty ,\infty )$ ，但是在齐次坐标系中令 $w=0$ 就能表示它在无穷处了，而不必使用 $\infty$ 来表示。因此将点 $(X,Y)$ 移动到无穷远时，可以直接使用齐次坐标 $(X,Y,0)$ 来表示。

笛卡尔坐标与齐次坐标是一对多的关系，齐次坐标族 $(aX,aY,a)$ ，$(bX,bY,b)$ 等都表示笛卡尔坐标 $(X,Y)$ 。

普通坐标(Ordinary Coordinate)和齐次坐标(Homogeneous Coordinate)之间进行转换：

• 从普通坐标转换成齐次坐标时
  • 如果 $(x,y,z)$ 是个点，则变为 $(x,y,z,1)$;
  • 如果 $(x,y,z)$ 是个向量，则变为 $(x,y,z,0)$
• 从齐次坐标转换成普通坐标时
  • 如果是 $(x,y,z,1)$ ，则知道它是个点，变成 $(x,y,z)$ ;
  • 如果是 $(x,y,z,w)$ ，则变为 $(\frac{x}{w},\frac{y}{w},\frac{z}{w})$;
  • 如果是 $(x,y,z,0)$ ，则知道它是个向量，仍然变成 $(x,y,z)$

• 齐次坐标中的投影变换：

将欧式坐标 $P^{\prime }=(\alpha \frac{x}{z}+c_x,\beta \frac{y}{z}+c_y)$ 转换为齐次坐标 $P_h^{\prime }$ ：

$$P_h^{\prime }=\left[\begin{array}{c}\alpha x+c_{x}z\\ \beta y+c_{y}z\\ z\end{array}\right]=\left[\begin{array}{cccc}\alpha & 0& c_x& 0\\ 0& \beta & c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=MP$$

其中 $P_h=\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$ ，也就是 $P$ 的齐次坐标。

• 摄像机偏斜。带畸变的 $M$ 矩阵：

$$M=\left[\begin{array}{cccc}\alpha & -\alpha cot\theta & c_x& 0\\ 0& \frac{\beta }{sin\theta }& c_y& 0\\ 0& 0& 1& 0\end{array}\right]$$

---

摄像机坐标下的摄像机模型：
$$P^{\prime }=\left[\begin{array}{cccc}\alpha & -\alpha cot\theta & c_x& 0\\ 0& \frac{\beta }{sin\theta }& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=MP=K\left[\begin{array}{cc}I& 0\end{array}\right]$$
其中 $M$ 为投影矩阵。
$$K=\left[\begin{array}{ccc}\alpha & -\alpha cot\theta & c_x\\ 0& \frac{\beta }{sin\theta }& c_y\\ 0& 0& 1\end{array}\right]$$
$K$ 为摄像机内参数矩阵。内参数决定了摄像机坐标系下空间点到图像点的映射。

$K$ 有5个自由度：$\alpha$、$\beta$、$\theta$、$c_x$、$c_y$

---

规范化投影变换：

上面得到的 $P^{\prime }=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$ 是齐次坐标（$P^{\prime }$ 是三行一列），需要转换为欧式坐标为 $\left[\begin{array}{c}\frac{x}{z}\\ \frac{y}{z}\end{array}\right]$

---

引入世界坐标系：

• 摄像机坐标系描述三维物体的空间信息是否方便？
• 如何将物体从世界坐标系转到摄像机坐标系？

引入 $R$ 、$T$ 矩阵，可以将世界坐标系 $P_w$ 转换为摄像机坐标系 $P$ ：
$$P=\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]P_w=\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$$

有了摄像机坐标系 $P$，便通过上面推导转换为像素坐标系：
$$P^{\prime }=K\left[\begin{array}{cc}I& 0\end{array}\right]P=K\left[\begin{array}{cc}I& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]P_w=K\left[\begin{array}{cc}R& T\end{array}\right]P_w$$
其中 $\left[\begin{array}{cc}R& T\end{array}\right]$ 被称为外参数矩阵，$K$ 为内参数矩阵。
$$M=K\left[\begin{array}{cc}R& T\end{array}\right]$$
$M$ 为投影矩阵。

注意维度：
$$P_{3\times 1}^{\prime }=M{P}_w=K_{3\times 3}{\left[\begin{array}{cc}R& T\end{array}\right]}_{3\times 4}{P_w}_{4\times 1}$$
设 $M=\left[\begin{array}{c}{m}_1\\ m_2\\ m_3\end{array}\right]$ ，其中 $m_i$ 为一行4列。
$$P^{\prime }=M{P}_w=\left[\begin{array}{c}{m}_1{P}_w\\ m_2{P}_w\\ m_3{P}_w\end{array}\right]$$
转换为欧式空间（像素坐标）：$(\frac{m_1{P}_w}{m_3{P}_w},\frac{m_2{P}_w}{m_3{P}_w})$

这便是完整的摄像机模型（透视投影摄像机）.

其他摄像机模型

当相对场景深度小于其与相机的距离时：弱透视投影摄像机：

---

---

各种摄像机模型的应用场合：

• 正交投影
  • 更多应用在建筑设计(AUTOCAD）或者工业设计行业
• 弱透视投影在数学方面更简单
  • 当物体较小且较远时准确，常用于图像识别任务
• 透视投影对于3D到2D映射的建模更为准确
  • 用于运动恢复结构或SLAM