Computer Graphic_LAB3_三维重建

XinChen_boom

已于 2023-11-28 10:44:37 修改

阅读量438

点赞数 8

文章标签：数码相机图形渲染

于 2023-11-28 00:36:34 首次发布

本文链接：https://blog.csdn.net/XinChen_boom/article/details/134657355

版权

1. 三维重建的定义

三维重建是指根据单视图或者多视图的图形重建三维信息的过程.

用相机拍摄真实世界的物体、场景, 并通过计算机视觉技术进行处理, 从而得到物体的三维模型 $\rightarrow$ 3D Reconstruction

一系列小方块

由三角形、多边形等组成

相机模型中存在 $4$ 个坐标系: 世界坐标系、相机坐标系、图像物理坐标系和图像像素坐标系

世界坐标系 $(\text{Xw},\text{Yw},\text{Zw})$ : 客观三维世界的绝对坐标系, 即物体在真实世界中的坐标. 单位是长度单位
相机坐标系 $(\text{Xc},\text{Yc},\text{Zc})$ : 以相机的光心为坐标原点, 以平行于图像的 $x$ 和 $y$ 方向为 $x$ 轴和 $y$ 轴, $z$ 轴和光轴平行. 单位是长度单位
图像物理坐标系 $(\text{x},\text{y})$ : 以主光轴和图像的交点为坐标原点. 单位是长度单位
图像像素坐标系 $(u,v)$ : 以图像的上/下/左/右顶点为坐标原点, $u$ 和 $v$ 方向平行于 $x$ 和 $y$ 方向. 单位是像素 (图像物理坐标系和像素坐标系仅通过平移可重合)

1、世界坐标系 $\rightarrow$ 相机坐标系

因为世界坐标系和相机坐标系都是三维坐标系, 此时用欧式变换进行坐标系转换

2、相机坐标系 $\rightarrow$ 图像物理坐标系

3、相机坐标系 $\rightarrow$ 图像像素坐标系

其中, $dx$ 表示一个像素的宽度

相机成像原理: 世界坐标系 $\rightarrow$ 相机坐标系 $\rightarrow$ 图像物理坐标系 $\rightarrow$ 图像像素坐标系, 该过程即为相机成像原理.

获取相机内参和外参的方法就是相机标定

本次实验属于点云拼接, 一种简单的重建结果的融合

读取相机内参 $(fx,fy,cx,cy)$ 和相机外参 $(R,T)$ (根据下图进行计算)
读取对应的深度图和RGB图 (注意: opencv读取RGB图的结果是BGR格式)
对深度图进行处理, 除以实际尺度depth_scale = 1000
遍历所有的像素, 利用公式计算对应的3D点的位置. 在相机有外参的情况下可进行优化计算:
1. 先默认把相机放在世界坐标系的原点处. 转换成如下公式:
2. 便可以得到每个像素 $(u,v)$ 和对应的3D点坐标 $(x_w,y_w)$ , 再利用相机外参数 $[R,T]$ 与 $[x_w,y_w,z_w,1]$ 相乘即可转换到实际位置
重复上述 $1 \thicksim 4$ 步, 将每一张图获得的点云累加
对重建的点云进行可视化
直接拼接累加的点云可能存在噪声, 需对最终的点云进行点云滤波 (如统计滤波、半径滤波、体素滤波等)