Open3d学习计划——6（RGBD图像）

已于 2023-03-01 20:32:38 修改
阅读量8k 收藏 53
点赞数 7
分类专栏： open3d 文章标签： python
于 2020-06-04 16:26:15 首次发布
原文链接：http://www.open3d.org/docs/release/introduction.html#
版权

Open3d学习计划——6（RGBD图像）

欢迎大家关注“点云PCL”公众号，进入群聊一起学习。

Open3d提供图像(images)数据结构。支持多种函数read_image,write_image,filter_image 和draw_geometries。Open3d的图像能够直接转化为numpy或者从numpy转化。
一个Open3d的RGBDImage由两幅图像组成，分别是RGBDImage.depth & RGBDImage.color。我们要求两幅图像能够通过相同的相机框架和相同的分辨率配准。下面的教程将会介绍如何从一些著名的RGBD数据集去读取和使用RGBD图像。

Redwood dataset

在这一节我们将会介绍从Redwood dataset[Choi2015]数据集中读取和可视化RGBD图像。
Redwood格式数据将深度存储在16-bit单通道图像中。整数值表示深度，以毫米为单位。它是Open3d解析深度图像的默认格式。

print("Read Redwood dataset")
color_raw = o3d.io.read_image("../../TestData/RGBD/color/00000.jpg")
depth_raw = o3d.io.read_image("../../TestData/RGBD/depth/00000.png")
rgbd_image = o3d.geometry.RGBDImage.create_from_color_and_depth(
    color_raw, depth_raw)
print(rgbd_image)

Read Redwood dataset
RGBDImage of size
Color image : 640x480, with 1 channels.
Depth image : 640x480, with 1 channels.
Use numpy.asarray to access buffer data.

默认的转换函数 create_rgbd_image_from_color_and_depth 从成对的彩色图（color image）和深度图（depth image）中生成RGBDImage 。Color图像被转换为灰度图，储存成[0，1]之间的float类型的数据。深度图像也通过float类型存储，表示深度值（单位：米）。
转换后的结果能够通过numpy数组表示。

plt.subplot(1, 2, 1)
plt.title('Redwood grayscale image')
plt.imshow(rgbd_image.color)
plt.subplot(1, 2, 2)
plt.title('Redwood depth image')
plt.imshow(rgbd_image.depth)
plt.show()

在这里插入图片描述给定一组相机参数，RGBD图像能够转换成点云。

pcd = o3d.geometry.PointCloud.create_from_rgbd_image(
        rgbd_image,
        o3d.camera.PinholeCameraIntrinsic(
            o3d.camera.PinholeCameraIntrinsicParameters.PrimeSenseDefault))
# Flip it, otherwise the pointcloud will be upside down
pcd.transform([[1, 0, 0, 0], [0, -1, 0, 0], [0, 0, -1, 0], [0, 0, 0, 1]])
o3d.visualization.draw_geometries([pcd], zoom=0.5)

在这里插入图片描述
这里我们使用PinholeCameraIntrinsicParameters.PrimeSenseDefault 作为默认的相机参数，它的图像分辨率为640x480，焦距(fx,fy)=(525.0,525.0)，光学中心(cx,cy)=(319.5,239.5)。使用单位矩阵作为默认的外部参数。pcd.transform在点云上应用上下翻转实现更好的可视化的目的。

SUN dataset

这一节我们将介绍如何从SUN数据集[Song2015]来读取和可视化RGBD图像。
这一节教程与上一节处理Redwood数据几乎相同。唯一的不同是我们使用create_rgbd_image_from_sun_format转换函数来从SUN数据集解析深度图像。

print("Read SUN dataset")
color_raw = o3d.io.read_image(
        "../../TestData/RGBD/other_formats/SUN_color.jpg")
depth_raw = o3d.io.read_image(
        "../../TestData/RGBD/other_formats/SUN_depth.png")
rgbd_image = o3d.geometry.RGBDImage.create_from_sun_format(
        color_raw, depth_raw)
print(rgbd_image)

Read SUN dataset
RGBDImage of size
Color image : 640x480, with 1 channels.
Depth image : 640x480, with 1 channels.
Use numpy.asarray to access buffer data.

plt.subplot(1, 2, 1)
plt.title('SUN grayscale image')
plt.imshow(rgbd_image.color)
plt.subplot(1, 2, 2)
plt.title('SUN depth image')
plt.imshow(rgbd_image.depth)
plt.show()

在这里插入图片描述

pcd = o3d.geometry.PointCloud.create_from_rgbd_image(
        rgbd_image,
        o3d.camera.PinholeCameraIntrinsic(
            o3d.camera.PinholeCameraIntrinsicParameters.PrimeSenseDefault))
# Flip it, otherwise the pointcloud will be upside down
pcd.transform([[1, 0, 0, 0], [0, -1, 0, 0], [0, 0, -1, 0], [0, 0, 0, 1]])
o3d.visualization.draw_geometries([pcd], zoom=0.5)

在这里插入图片描述

NYU dataset

这一节我们将介绍如何从NYU数据集[Silberman2012]中读取和可视化RGBD图像。
这一节也与Redwood几乎相同，只有两处不一样。首先，NYU图像不是标准的jpg或者png格式，因此我们需要使用 mpimg.imread来读取一个color图像为一个numpy数组，并将其转化为Open3d图像。还需要使用一个额外的辅助函数read_nyu_pgm来从 NYU数据集使用的特殊大端模式(special big endian) pgm格式的数据中读取深度图像。其次我们使用create_rgbd_image_from_nyu_format转换函数来从NYU数据集中解析深度图。

import matplotlib.image as mpimg
import re

# This is special function used for reading NYU pgm format
# as it is written in big endian byte order.
def read_nyu_pgm(filename, byteorder='>'):
    with open(filename, 'rb') as f:
        buffer = f.read()
    try:
        header, width, height, maxval = re.search(
            b"(^P5\s(?:\s*#.*[\r\n])*"
            b"(\d+)\s(?:\s*#.*[\r\n])*"
            b"(\d+)\s(?:\s*#.*[\r\n])*"
            b"(\d+)\s(?:\s*#.*[\r\n]\s)*)", buffer).groups()
    except AttributeError:
        raise ValueError("Not a raw PGM file: '%s'" % filename)
    img = np.frombuffer(buffer,
                        dtype=byteorder + 'u2',
                        count=int(width) * int(height),
                        offset=len(header)).reshape((int(height), int(width)))
    img_out = img.astype('u2')
    return img_out


print("Read NYU dataset")
# Open3D does not support ppm/pgm file yet. Not using o3d.io.read_image here.
# MathplotImage having some ISSUE with NYU pgm file. Not using imread for pgm.
color_raw = mpimg.imread("../../TestData/RGBD/other_formats/NYU_color.ppm")
depth_raw = read_nyu_pgm("../../TestData/RGBD/other_formats/NYU_depth.pgm")
color = o3d.geometry.Image(color_raw)
depth = o3d.geometry.Image(depth_raw)
rgbd_image = o3d.geometry.RGBDImage.create_from_nyu_format(color, depth)
print(rgbd_image)

Read NYU dataset
RGBDImage of size
Color image : 640x480, with 1 channels.
Depth image : 640x480, with 1 channels.
Use numpy.asarray to access buffer data.

plt.subplot(1, 2, 1)
plt.title('NYU grayscale image')
plt.imshow(rgbd_image.color)
plt.subplot(1, 2, 2)
plt.title('NYU depth image')
plt.imshow(rgbd_image.depth)
plt.show()

在这里插入图片描述

pcd = o3d.geometry.PointCloud.create_from_rgbd_image(
        rgbd_image,
        o3d.camera.PinholeCameraIntrinsic(
            o3d.camera.PinholeCameraIntrinsicParameters.PrimeSenseDefault))
# Flip it, otherwise the pointcloud will be upside down
pcd.transform([[1, 0, 0, 0], [0, -1, 0, 0], [0, 0, -1, 0], [0, 0, 0, 1]])
o3d.visualization.draw_geometries([pcd], zoom=0.5)

在这里插入图片描述

TUM dataset

这一节我们介绍TUM数据集[Strum2012]中RGBD图像的读取和可视化。
这一节和之前的Redwood数据集的介绍也几乎一样。只有一点不同是我们使用create_rgbd_image_from_tum_format函数去从TUM数据集中解析深度数据。

print("Read TUM dataset")
color_raw = o3d.io.read_image(
        "../../TestData/RGBD/other_formats/TUM_color.png")
depth_raw = o3d.io.read_image(
        "../../TestData/RGBD/other_formats/TUM_depth.png")
rgbd_image = o3d.geometry.RGBDImage.create_from_tum_format(
        color_raw, depth_raw)
print(rgbd_image)

Read TUM dataset
RGBDImage of size
Color image : 640x480, with 1 channels.
Depth image : 640x480, with 1 channels.
Use numpy.asarray to access buffer data.

plt.subplot(1, 2, 1)
plt.title('TUM grayscale image')
plt.imshow(rgbd_image.color)
plt.subplot(1, 2, 2)
plt.title('TUM depth image')
plt.imshow(rgbd_image.depth)
plt.show()

在这里插入图片描述

pcd = o3d.geometry.PointCloud.create_from_rgbd_image(
        rgbd_image,
        o3d.camera.PinholeCameraIntrinsic(
            o3d.camera.PinholeCameraIntrinsicParameters.PrimeSenseDefault))
# Flip it, otherwise the pointcloud will be upside down
pcd.transform([[1, 0, 0, 0], [0, -1, 0, 0], [0, 0, -1, 0], [0, 0, 0, 1]])
o3d.visualization.draw_geometries([pcd], zoom=0.35)

在这里插入图片描述

关于翻译大家有更好的意见欢迎评论一起学习！！！

欢迎大家加入知识星球一起学习。

在这里插入图片描述

梦醒blue
关注
  • 7
    点赞
  • 踩
  • 53
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
Open3D：用于处理3D数据的开源库
重点记录机器人和自动驾驶相关领域的技术，尤其是计算机视觉，视觉SLAM等，不仅有前言文献或必备算法的学习，也会有实际应用的点滴经验
05-20 65
2D的视觉图像处理有成熟的OpenCV，而对于3D的点云数据，大家常用的是PCL点云库，但PCL对于C++语言比较友好，而日常用Python语言开发3D点云数据的处理，可以用Open3D。
Python Open3D几何图形 基础篇（三） RGBD图像
MrVoider的博客
06-17 1805
以下教程介绍如何从许多著名的RGBD数据集中读取和使用RGBD图像。
open3D depth image注意事项
最新发布
momo的博客
05-18 216
如下代码提供转换方法。（注，PIL的Image不能很好的处理uint16格式数据，尝试了几次似乎都是当成int32处理，因此存储新图像的时候需要使用cv2中的函数。的时候，需要用到color image和对应的depth map。在open3d中默认的depth map是mm为单位，且需要使用uint16作为格式。Open3D中在使用。
open3d显示biwi head pose estimation 3d数据
不解不惑
02-26 227
代码： # BIWI头部姿态估计数据集使用说明与点云图像融合 https://blog.csdn.net/weixin_43038346/article/details/120097266 import cv2 import numpy as np import struct from math import ceil, floor import open3d as o3d data_dir = r'E:\Downloads\datasets\BIWI\kinect_head_pose_db\h..
RGBD图像ｄｅ超像素分割算法＋适用场景
cocapop的博客
04-03 841
首先对点云进行均匀采样，然后将采样后的点云聚类成超像素，最后根据相邻超像素之间的几何关系进行合并。SLIC3D（Simple Linear Iterative Clustering in 3D）：该算法是一种基于颜色和空间距离的超像素分割算法，类似于SLIC算法。VCCS（Voxel Cloud Connectivity Segmentation）：该算法先将点云分割成小立方体，然后根据立方体之间的相对位置和法向量信息进行聚类，生成超像素。点云密度和均匀性：点云数据的质量对超像素分割的效果有很大影响。
Open3d学习计划——5（变换）
梦醒Blue的博客
05-29 5907
Open3d学习计划——5（变换） 欢迎大家关注“点云PCL”公众号，进入群聊一起学习。 Open3d的几何类型有许多变化方法。在本节教程中我们将会展示如何使用旋转(rotate)，平移(translate)，缩放(scale)和变换(transform)。 平移(translate) 这里我们展示的第一个算法是平移。平移算法就是通过单个三维向量 ttt 来平移所有点/顶点，vt=v+tv_{t} = v + tvt​=v+t。下面的代码展示了网格分别在x方向和y方向平移一次的结果。 mesh = o3d.
基于RGB-D图像的多模态特征融合
我的博客
11-08 3665
几种融合介绍
PCL点云-RGBD图像转换到点云
12-20
ROS： RGBD图像(rgb图像，深度图像)转换到点云pcd文件
尝试5读取tfrecord_RGBD_图像分类RGB-D_
10-02
对于rgb-d深度图像的识别分类及处理，数据处理后分类
Open3D-ML：Open3D的扩展，可解决3D机器学习任务
02-06
Open3D-ML是Open3D的扩展，用于3D机器学习任务。 它建立在Open3D核心库的基础上，并通过用于3D数据处理的机器学习工具进行了扩展。 此回购集中于诸如语义点云分段之类的应用程序，并提供可应用于常见任务以及训练...
Open3D-RGBD里程计算法测试数据.rar
08-21
Open3D-RGBD里程计算法测试数据Open3D-RGBD里程计算法测试数据Open3D-RGBD里程计算法测试数据Open3D-RGBD里程计算法测试数据Open3D-RGBD里程计算法测试数据Open3D-RGBD里程计算法测试数据
基于RGBD图像的遮挡处理实时增强现实
03-02
基于RGBD图像的遮挡处理实时增强现实
RGBD-to-mitsuba:从RGBD图像生成Mitsuba场景的脚本
04-08
RGBD转三菱 从RGBD图像生成Mitsuba场景的脚本。 要求 深度图（exr） 彩色图像（png） 环境地图 相机内在要素 依存关系 ...的open3d 依赖关系在requirements.txt中指定。 结果 彩色图像 渲染图像
RGBD图像的显着性检测
03-12
RGBD图像的显着性检测
基于RGBD图像和卷积神经网络的快速道路检测
02-04
针对移动平台有限的计算资源以及基于彩色图像的道路检测方法在极端光照情况下及路面类型变化时存在的不足, 提出了一种融合彩色图像和视差图像的基于9层卷积神经网络的快速道路检测算法。提出一种数据输入层预处理...
Python-用于将多张RGBD图像融合到TSDFvoxelvolume中的Python代码
08-10
用于将多张RGB-D图像融合到TSDF voxel volume中的Python代码
RGB-D立体视觉导航之图像预处理
挥剑决浮云的博客
05-01 635
为了获得用于相机位姿估计的特征点对做的图像预处理 1、阈值分割 目的是获得领航AGV的外壳轮廓 阈值分割是按照图像像素灰度幅度进行分割的方法，它是把图像的灰度分成不同的等级，然后用设置灰度门限（阈值）的方法确定有意义的区域或要分割物体的边界。 目的是要按照灰度级，利用图像中要提取的目标区域与其背景在灰度特性上的差异，把图像看作具有不同灰度级的两类区域(目标区域和背景区域)的组合，选取一个比较合理的阈值，对像素集合进行一个划分，以确定图像中每个像素点应该属于目标区域还是背景区域，从而产生相应的二值图像。 0
KinectAzure-Open3D获取相机内参，depth2pointcloud
weixin_42783619的博客
01-05 1523
KinectAzure-Open3D获取相机内参，depth2pointcloud 参考：https://blog.csdn.net/weixin_42532587/article/details/112258490 使用Azure kinect SDK获取的rgb图与深度图 内参获取相关资料可以在https://github.com/microsoft/Azure-Kinect-Sensor-SDK/tree/develop/examples/calibration找到。配置好kinect的环境变量后，运
open3d连续读取pcd文件及实现点云视角转换
小屋
04-13 7940
save_view_point和load_view_point函数用于将所需视角下的参数写入到json文件。 具体操作在所显示的窗口中用鼠标拖好自己的视角然后关闭窗口。 接着关闭加载好的视角窗口。 最后显示变换后的视角下的pcd点云。 import open3d as o3d import os import numpy as np import time def save_view_point(pcd, filename): vis = o3d.visualization.Visualizer(
基于深度学习的 RGBD 图像语义分割相关原理
05-16
6. 模型训练：使用训练集对模型进行训练，优化模型参数，使其能够更好地进行 RGBD 图像语义分割。 7. 模型评估：使用测试集对训练好的模型进行评估，计算其准确率、召回率、F1 值等指标。 基于深度学习的 RGBD ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值