【3D视觉理论与实战】以Open3D为例

weixin_57258773

已于 2024-05-28 17:00:42 修改

阅读量754

点赞数 21

文章标签： 3d 计算机视觉

于 2024-05-28 17:00:19 首次发布

本文链接：https://blog.csdn.net/weixin_57258773/article/details/139257736

版权

理论学习

我们想学习3D视觉，首先要了解相机的成像原理，这里比较重要的知识点就是相机的内参与外参。具体可以参考大佬写的文章：坐标系与相机参数

实际操作中，我们从相机中获得的数据往往是RGB-D的形式，也就是颜色图+深度图。但是仅看深度图还是不够直观，我们希望将其渲染成点云，以三维的形式在计算机中显示。在实操之前，可以先了解一下基础知识：深度图与点云

从相机获取点云

接下来以Open3D为例，展示如何处理从相机获取的信息
如果你和我一样用的是Realsense相机的话，可以参考这篇文章

"""
这里的深度图与RGB图分别由相机取得，不同相机有不同获取方式
"""
import open3d as o3d
depth = o3d.geometry.Image(depth_image)
color = o3d.geometry.Image(color_image)
rgbd = o3d.geometry.RGBDImage.create_from_color_and_depth(color, depth, convert_rgb_to_intensity=False)# 从颜色和深度图像制作RGBDImage的功能
pcd = o3d.geometry.PointCloud.create_from_rgbd_image(rgbd, pinhole_camera_intrinsic)# 通过RGB-D图像和相机创建点云，并导入摄像机的固有参数
pcd.transform([[1, 0, 0, 0], [0, -1, 0, 0], [0, 0, -1, 0], [0, 0, 0, 1]])# 将转换（4x4矩阵）应用于几何坐标。
o3d.visualization.draw_geometries([pcd])

基于Open3D的点云操作

获取点云后，我们就可以对其作一系列的可视化、交互等操作了
这里总结了一些资料：

一个非常全面的学习总结
点云窗口交互其中o3d.visualization.VisualizerWithEditing()也可用于交互操作

变换视角
这里需要注意的是我们在变换视角后，使用o3d.visualization.Visualizer().capture_depth_float_buffer()获取的深度图是不能直接使用的，因为我们在可视化过程中变换了相机的视角，由此相机的内参及外参都发生了相应的变换，所以我们在保存深度图的同时，还需要利用o3d.visualization.Visualizer().get_view_control().convert_to_pinhole_camera_parameters()来获取此视角下的内外参。再作反变换就能获取真实值。

def drop_image(pcd):
    vis = o3d.visualization.Visualizer()
    vis.create_window("Pointcloud", 640,480, visible=False)
    vis.add_geometry(pcd)
    vis.update_geometry(pcd)
    vis.poll_events()
    vis.update_renderer()

    img = vis.capture_screen_float_buffer()
    img = np.array(img)
    img = cv2.cvtColor(img * 255, cv2.COLOR_BGR2RGB).astype(np.uint8)

    depth = vis.capture_depth_float_buffer()
    depth = (np.asarray(depth)).astype(np.float32)

    convert_matrix = vis.get_view_control().convert_to_pinhole_camera_parameters()

    return img, depth, convert_matrix

估计法向量并指定朝向
获取法向量后，我们往往需要将其转换为欧拉角或者四元数。这里推荐一个非常好用的工具：scipy.transform.Rotation
具体用法可以参考链接。