SLAM入门-相机成像原理与公式推导

 

Pinhole Camera Model

1. 如上图所示, 现实世界中的3D object成像在相机的成像平面image plane中, 由针孔成像的对称性, 可以画出image plane的对称虚平面virtual image plane
2. 为了简化, 下面都使用 virtual image plane代替 image plane, 毕竟这个平面内部的像素坐标值在两个平面都是一样的;
3. 接下来就是初中几何相似性的原理:

数学表达

1. 如上图所示, 现实世界坐标P(X,Y,Z), 映射到成像平面中作为为p(x,y), f为焦距focal length, O为相机光心;
2. 由三角形相似性可知: 

$$
\frac{X}{Z}=\frac{x}{f}
\quad \frac{Y}{Z}=\frac{y}{f}
$$

从而有:

$$
x = f \frac{X}{Z} \\
y = f \frac{Y}{Z}
$$

进一步修正

1. 上面推导假设相机像素在x轴和y轴上像素点大小一样的(即正方形), 但实际中这两个值往往并不相同, 这样计算得到的坐标(x,y)要重写为如下公式:

$$
x = kf \frac{X}{Z} = f_x \frac{X}{Z} \\
y = lf \frac{Y}{Z} = f_y \frac{Y}{Z}
$$ 

再进一步修正

1. 上面公式还假设了相机光心(即上图c点)是100%在光轴optical axis OZ线上, 但实际上由于制造工艺限制, 往往会存在一些误差, 在x轴和y轴上分别为 cx, cy, 体现在公式就需要对坐标(x,y)再做一些平移修正, 如下公式;
2. fx,fy,cx,cyfx,fy,cx,cy这四个参数定义为相机的内参矩阵CC，也就是相机做好之后就不会变的参数;

$$
x = kf \frac{X}{Z} + c_x = f_x \frac{X}{Z} + c_x  \\
y = lf \frac{Y}{Z} + c_y = f_y \frac{Y}{Z}  + c_y
$$ 

继续前进

1. 一般情况下, 变量命名通常把真实世界的坐标记为(x,y,z) ,对应上文中的(X,Y,Z), 而把成像平面上的坐标记为(u,v), 对应上文中的(x,y), 根据新的变量名, 可以改写公式;
2. 此外, 一般深度相机获取到的数据保存时, 保存的距离坐标d其实都是真实距离乘以一个缩放因子s后再保存的, s大概是1000 .  因此在把z代入公式进行时, 要先得到z的真实的未缩放值:  z=d/s;
3. 根据上述1,2,  新的公式如下:

$$
u =  f_x \frac{x}{z} + c_x  \\
v =  f_y \frac{y}{z}  + c_y
z = \frac{d}{s}
$$ 

但往往实际情况是相机测量后的(u,v,d)坐标已知, 需要反推出真实世界坐标(x, y, z), 因此上述公式变形为用(u,v,d)表示(x,y,z):

$$
z = d s  \\
x = \frac{(u-c_x)z}{f_x}  \\
y = \frac{(v-c_y)z}{f_y}  \\
$$

写成矩阵形式

$$
s \cdot \left[ \begin{array}{l}{u} \\ {v} \\ {1}\end{array}\right]=C \cdot\left(R \cdot \left[ \begin{array}{l}{x} \\ {y} \\ {z}\end{array}\right]+t\right)
$$

1. 其中，R和t是相机的姿态。R代表旋转矩阵，t代表位移矢量。

 

使用PCL把点云画出来

备注: 代码copy了高博的PCL点云代码, 其中的数据data部分, 可以从高博的github地址下载: 

https://github.com/gaoxiang12/rgbd-slam-tutorial-gx/tree/master/part%20II/data

 

// C++ 标准库
#include <iostream>
#include <string>
using namespace std;

// OpenCV 库
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>

// PCL 库
#include <pcl/io/pcd_io.h>
#include <pcl/point_types.h>

// 定义点云类型
typedef pcl::PointXYZRGBA PointT;
typedef pcl::PointCloud<PointT> PointCloud; 

// 相机内参
const double camera_factor = 1000;
const double camera_cx = 325.5;
const double camera_cy = 253.5;
const double camera_fx = 518.0;
const double camera_fy = 519.0;

// 主函数 
int main( int argc, char** argv )
{
    // 读取./data/rgb.png和./data/depth.png，并转化为点云

    // 图像矩阵
    cv::Mat rgb, depth;
    // 使用cv::imread()来读取图像
    // API: http://docs.opencv.org/modules/highgui/doc/reading_and_writing_images_and_video.html?highlight=imread#cv2.imread
    rgb = cv::imread( "./data/rgb.png" );
    // rgb 图像是8UC3的彩色图像
    // depth 是16UC1的单通道图像，注意flags设置-1,表示读取原始数据不做任何修改
    depth = cv::imread( "./data/depth.png", -1 );

    // 点云变量
    // 使用智能指针，创建一个空点云。这种指针用完会自动释放。
    PointCloud::Ptr cloud ( new PointCloud );
    // 遍历深度图
    for (int m = 0; m < depth.rows; m++)
        for (int n=0; n < depth.cols; n++)
        {
            // 获取深度图中(m,n)处的值
            ushort d = depth.ptr<ushort>(m)[n];
            // d 可能没有值，若如此，跳过此点
            if (d == 0)
                continue;
            // d 存在值，则向点云增加一个点
            PointT p;

            // 计算这个点的空间坐标
            p.z = double(d) / camera_factor;
            p.x = (n - camera_cx) * p.z / camera_fx;
            p.y = (m - camera_cy) * p.z / camera_fy;
            
            // 从rgb图像中获取它的颜色
            // rgb是三通道的BGR格式图，所以按下面的顺序获取颜色
            p.b = rgb.ptr<uchar>(m)[n*3];
            p.g = rgb.ptr<uchar>(m)[n*3+1];
            p.r = rgb.ptr<uchar>(m)[n*3+2];

            // 把p加入到点云中
            cloud->points.push_back( p );
        }
    // 设置并保存点云
    cloud->height = 1;
    cloud->width = cloud->points.size();
    cout<<"point cloud size = "<<cloud->points.size()<<endl;
    cloud->is_dense = false;
    pcl::io::savePCDFile( "./pointcloud.pcd", *cloud );
    // 清除数据并退出
    cloud->points.clear();
    cout<<"Point cloud saved."<<endl;
    return 0;
}