3D感知技术（7）RGB-D融合

最新推荐文章于 2024-09-02 16:10:03 发布
最新推荐文章于 2024-09-02 16:10:03 发布
阅读量2k 收藏 8
点赞数
分类专栏： 立体视觉 文章标签： 3d 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zfjBIT/article/details/126901417
版权
本文探讨了RGB-D融合技术，通过将深度信息（D）与RGB颜色信息结合，为3D点云赋予色彩。对于由两个RGB相机组成的立体视觉系统，完成双目标定和矫正后，可以从左图获取点云的RGB信息。目前的RGBD相机通常由两个红外灰度相机和一个RGB相机组成，以RGB相机为参考。融合过程中，需要对灰度相机和RGB相机进行额外的标定步骤，确定它们之间的旋转和平移矩阵。随后，介绍了RGBD融合的基本流程。
摘要由CSDN通过智能技术生成

D即depth，RGB-D融合即为从深度相机得到的每个点云“染色”；
如果是两个rgb相机组成的立体视觉系统，一般地，完成双目标定、矫正对齐操作后，以做相机为参考坐标系，点云对应的RGB信息，可直接从左图对应获取；

目前，市面上的RGBD相机，通常采用两个感红外的灰度相机构成立体测距系统，再加一个RGB相机获取纹理；并且以RGB相机为参考坐标系；
在标定时，完成灰度相机标定后，需要再标定左灰度相机与RGB相机之间的旋转和平移矩阵；
在这里插入图片描述
RGBD融合流程如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

JoannaJuanCV
关注
专栏目录
订阅专栏
基于深度图和RGB图的三维映射（从2D到3D空间的重映射）
Frobot的博客
12-14 8563
一、概述 常听到的RGB-D相机是指带有彩色信息的3D相机，其输出的每个点包含了XYZ三个坐标和彩色信息（RGB三个通道的值）。从硬件上来看，可以由一个能测深度的传感器结合一个2D的彩色相机构成。那么如何由一张彩色图片结合其对应的“深度图”来重建一张3D图片呢？首先解释一下什么是深度图，从图片类型上来看，它是一张2D图片，与“RGB彩色图片”尺寸一致，只不过每个像素（Px,Py)对应的灰度值代表了物体上某个点到相机中心点的距离。下面我们要讨论的就是由一张2D的彩色图片结合其对应的深度图来求一张3D点云图。有
使用RGBD相机自动进行3D室内场景更新。
03-03
使用RGBD相机自动进行3D室内场景更新。
基于神经网络RGB-D图像分割
04-01
基于神经网络的ＲＧＢ－Ｄ图像分割，可在代码基础上修改，进行二次开发．
RGBD模态融合问题
qq_42519463的博客
10-28 2612
当图像特征中RGB图像和depth图像特征有鸿沟时，怎么进行融合呢？这里从RGBD SOD显著性检测的领域找了一些最新论文的方法，并附上代码，以供参考。
RGBD和6-DoF
最新发布
weixin_42035282的博客
09-02 851
平移自由度（3 个）前后（X 轴）：沿着 X 轴的平移运动。上下（Y 轴）：沿着 Y 轴的平移运动。左右（Z 轴）：沿着 Z 轴的平移运动。旋转自由度（3 个）绕 X 轴旋转（Roll，滚动）：沿 X 轴旋转。绕 Y 轴旋转（Pitch，俯仰）：沿 Y 轴旋转。绕 Z 轴旋转（Yaw，偏航）：沿 Z 轴旋转。
深度相机和彩色相机对齐（d2c）
taifyang的博客
06-04 4719
这里除了第一组图片（color.bmp和ir.bmp），其他的color图片和ir图片不需要一一对应（在同一场景下拍摄），可以分开采集。根据情况，分别采集若干张彩色摄像头和红外摄像头（对于带有红外摄像头进行深度测量的深度摄像头，红外摄像头和深度摄像头其实是同一个）的标定板成像图片。注意包装盒的右侧、水壶的把手以及右侧和地面接近部分的点云在rgbd对齐前后可看出较大区别。求解深度相机到彩色相机的变换矩阵的原理：（参考。第二步：求解深度相机到彩色相机的变换矩阵。第一步：标定彩色相机和深度相机。
基于RGB-D图像的多模态特征融合
我的博客
11-08 4434
几种融合介绍
python实现将RGB图和深度图融合为四通道RGBD图(批量)
gls_nuaa的博客
02-22 1073
python实现将RGB图和深度图融合为四通道RGBD图(批量)
轻量级RGB-D显著目标检测的中层融合
3D视觉工坊
05-26 592
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有...
Bi-directional Cross-Modality Feature Propagation with Separation-and Aggregation Gate_eccv2020
Cloris_Sue的博客
09-10 2412
Bi-directional Cross-Modality Feature Propagation with Separation-and Aggregation Gate for RGB-D Semantic Segmentation_ECCV2020 这篇论文是eccv2020的。第一作者是北大信息科学技术学院的，主攻方向就是RGBD语义分割。第二个作者是商汤科技的。 摘要 motivation：大多数现有的工作只是假设深度测量是准确的，并与RGB像素很好地对齐，并将问题建模为跨模态特征融合，以获得更好
增强型RGB-D融合: 对象厚度预测的3D重建方法
1517X-Section：增强型RGB-D融合Andrea Nicastro1，Ronald Clark1，Stefan Leutenegger21戴森机器人实验室，2智能机器人实验室，伦敦imperial.ac.ukRGB-D 2RGB-D3RGB-D 4RGB-D 5RGB-D6厚度1厚度2厚度3厚度4厚度5厚度...
融合点云RGB影像和3D-NDT算法溶洞的点云自动精确拼接
05-10
3D-NDT(正态分布变换)算法是一种应用在同时定位和地图生成(SLAM)的机器人领域中的点云拼接算法。在SLAM中,点云初始拼接是通过机器人测距仪获取两个站之间初始变换完成的,然后采用3D-NDT算法进行精确拼接。地面三维激光扫描仪无法直接获取两站点云的初始变换,因此3D-NDT算法无法直接应用到地面三维激光扫描作业中。文中针对地面三维激光获取溶洞点云数据的扫描流程,提出了一种融合点云RGB影像和3D-NDT算法的点云自动精确拼接方法。实验结果表明,该拼接方法针对百万级大型复杂溶洞点云数据,无论在时间和精度上均较传统拼接方法有很大优势。
深度感知CNN用于RGB-D分割
深度数据的可用性使得使用CNN的RGB-D语义分割能够取得进展现有技术的方法使用深度作为附加图像或处理3D体积或点云中的空间信息。这些方法具有高计算和存储成本。为了解决这些问题，我们通过引入两个直观，灵活和有效...
python图层rgb融合_用于将多张RGB-D图像融合到TSDF voxel volume中的Python代码
weixin_39563722的博客
12-09 198
Volumetric TSDF Fusion of RGB-D Images in Python This is a lightweight python script that fuses multiple registered color and depth images into a projective truncated signed distance function (TSDF) v...
将RGB图片和暗通道D融合成四通道RGBD图片
Ever_Again的博客
05-08 5101
参考这篇https://blog.csdn.net/c_qianbo/article/details/53364189 但是有些错误， (1).首先 ，出现了无法读入图片，是因为cv2 的函数改了， 将cv2.CV_LOAD_IMAGE_UNCHANGED改为cv2.IMREAD_ANYCOLOR; (2).也有在27行报错说“too many indices for array”的错误，...
RGB与Depth融合方法总结
qq_43733107的博客
07-26 9025
RGB与Depth融合方法汇总
双目视觉——点云与RGB图像融合
点云侠的博客
08-26 5428
将双目相机的图像色彩添加到生成的点云上看彩色点云的效果
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JoannaJuanCV

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值