视觉 3D 点云图构建与深度测量
环境为linux系统,使用opencv处理图像,将五张不同角度和距离的图片和五张对应的深度图处理为点云图。关键是理解世界相机坐标系到世界坐标系的映射。相机拍出来的图片是以相机为中心的坐标系,确定一个世界坐标系,相机相对世界坐标系有一个姿态,然后可以将五张图中的像素点根据深度图可以算出各个像素点在相机坐标系中的3D位置,然后根据坐标系的转换关系,将像素点的位置转换到世界坐标系中,显示出来,就形成了3D点云图。资料在我的资源中
一、对各步骤调用函数API的理解
1、boost::format fmt("./%s/%d.%s" );
图像文件格式--定义遍历图片name的字符串
2、colorImgs.push_back(cv::imread( (fmt%"color"%(i+1)%"png").str() ));
depthImgs.push_back( cv::imread((fmt%"depth"%(i+1)%"pgm").str(), -1 ));
将普通RGB图像和对应的深度图像读入,其中深度图像使用-1读取原始图像,深度图像经过坐标转换可以计算为点云数据,有规则及必要信息的点云数据也可以反算为深度图像数据。
3、Eigen::Quaterniond q(data[6], data[3], data[4], data[5] );
double类型四元数 (w,x,y,z) xyz是虚部,w是实部,四元数是一种高阶复数,相当于四维空间向量,其中三个虚数对应三维空间的三个维度,实数代表第四维,四元数可以绕任意轴旋转。
4、Eigen::Isome