Camera 基础概念理解

值得一读：

Dissecting the Camera Matrix, Part 2: The Extrinsic Matrix

Dissecting the Camera Matrix, Part 3: The Intrinsic Matrix 

对应资源同步上传啦

目录

✭pose：position and orientation 位置和方位；

✭camera：the image sensor 已校准的图像传感器

 ✭camera intrinsic/extrinsic matrix

Intrinsic Matrix（内在矩阵）

Extrinsic Matrix（外在矩阵）

 ✭ camera calibarion（相机校正）Camera几何calibration作用

---

Camera参数包括内参intrinsics、外参extrinsics和变形系数distortion coefficients

✭pose：position and orientation 位置和方位；

✭camera：the image sensor 已校准的图像传感器

确定图像（或立体图像，图像序列）中物体姿态的具体任务为pose estimation姿态估计 。

该问题可以根据图像传感器的配置和方法的选择以不同的方式解决。

可以区分三类方法：

• 分析或几何方法：假设图像传感器（相机）已校准，并且场景中的 3D 点和图像中的 2D 点的映射是已知的。如果物体的几何形状也是已知的，则意味着物体在相机图像上的投影图像是物体姿势的众所周知的函数。一旦确定了对象上的一组控制点，通常是角点或其他特征点，就可以从一组将点的 3D 坐标与其 2D 图像坐标相关联的方程中求解姿态变换。如果点之间的对应关系未知，则确定点云相对于另一个点云的姿态的算法称为点集配准算法。
• 遗传算法方法：如果不需要实时计算对象的姿态，则可以使用遗传算法。这种方法是稳健的，尤其是当图像未完美校准时。在这种特殊情况下，姿态代表遗传表示，目标控制点与图像的投影之间的误差是适应度函数。
• 基于学习的方法：这些方法使用基于人工学习的系统，学习从 2D 图像特征到姿势变换的映射。简而言之，这意味着必须在学习阶段向系统呈现足够大的物体图像集，以不同的姿态呈现给系统。一旦学习阶段完成，系统应该能够在给定对象图像的情况下呈现对象姿态的估计。

 ✭camera intrinsic/extrinsic matrix

Intrinsic Matrix（内在矩阵）

通过它可以将三维camera坐标转换为二维的图像坐标，此投影变化如针孔相机。

焦距（Focal Length）：针孔到胶片 f=fx=fy      单位：像素pixels

Principal point Offset：

            principle axis表示和胶片垂直且通过针孔的线，与胶片的交点为principal point

Principal point偏移量：principal point相对于胶片原点的位置，取决于胶片原点的位置

Axis Skew，s：用来减少照片在投影时的变形

---

Extrinsic Matrix（外在矩阵）

描述camera在世界坐标系中的位置以及其所指的方向

作用：camera坐标和世界坐标之间的转换

2矩阵：左边3×3的旋转（rotation）矩阵，右边3×1位移（translation）列向量

---

  ✭ camera calibarion（相机校正）Camera几何calibration作用

-用来估算出camera的镜头的参数，从而修正照片变形，测量物体的尺寸；

-计算camera在场景中的位置，应用于机器人、导航系统、3D-sence reconstruction

3D世界点坐标+2D图片点坐标=估计相机参数

利用多个校准图像来获得对应的关系以求解摄像机参数

通过外参-世界坐标系点变换相机坐标系中点

通过内参-相机坐标系映射图像平面

 

  Distortion in Camera Calibration（相机校准失真）