RGBD相机的标定和图像配准

最新推荐文章于 2024-05-14 14:11:51 发布
最新推荐文章于 2024-05-14 14:11:51 发布
阅读量3.5k 收藏 50
点赞数 6
文章标签： 计算机视觉 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52785249/article/details/124505848
版权

本篇内容为本人观看视频的学习笔记

RGBD相机的标定和图像配准

kinect2相机简介

三种主要相机类型

在这里插入图片描述

常见的RGB-D相机

在这里插入图片描述

kinect2 相机

  • 从左到右依次是：彩色摄像头；红外摄像头（深度摄像头），但这个要和再右边的IR Project（红外投射器）一起工作的；底下的长条是麦克风，可以感受到说话人的方向

在这里插入图片描述

使用RGB-D相机的好处

  • 可以直接通过拍摄的深度图得到物体的空间位置
    在这里插入图片描述

问题

  • keinect相机 彩色图像是1920x1080的，但深度图是512x414的，因此需要深度校准

实际标定得到的数据

在这里插入图片描述

内外参标定

针孔相机投影模型

在这里插入图片描述

  • 相机坐标系 -> 物理成像平面
    在这里插入图片描述
  • 物理成像平面 -> 像素平面
    在这里插入图片描述
  • 总结一下
    • 整个投影过程都可以通过下面的内参矩阵描述 fx,fy,cx,cy
      在这里插入图片描述
  • 主要通过k1,k2,k3三个参数来描述相机的径向畸变（常用k1,k2就够了）
    在这里插入图片描述
  • 对于切向畸变，一般使用p1,p2来描述
    在这里插入图片描述

工具

在这里插入图片描述

  • 对于 kinect 可以用 iai_kinect2 工具包做标定

棋盘标定板

在这里插入图片描述

彩色相机标定

在这里插入图片描述

红外相机标定

在这里插入图片描述

彩色相机和红外相机的外参标定

  • 描述深度坐标系下的点如何表示在RGB图中

在这里插入图片描述

深度相机的深度校准

在这里插入图片描述

图像配准

配准原理

  • （配准后的深度图不对）
    在这里插入图片描述
  • 正确
    在这里插入图片描述

总结

在这里插入图片描述

ljc_coder
关注
  • 6
    点赞
  • 踩
  • 50
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
RGB-D相机建图——3、使用kalibr进行相机标定
hongliyu_lvliyu的博客
05-20 1166
1. Kalibr 视觉惯性校准工具箱 官方网站：https://github.com/ethz-asl/kalibr Kalibr是一个工具箱，可以解决以下校准问题： 多摄像机校准：具有非全局共享重叠视场的摄像机系统的内部和外部校准 视觉惯性校准校准（camera-IMU）：带有摄影机系统的IMU的时空校准 Rolling Shutter 相机校准：Rolling Shutter 相机的完整固有校准（投影，失真和快门参数） 1. 安装 https://github.com/ethz-asl/kalibr/
RGBD深度相机如何标定？
小白学视觉
01-23 980
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957（请务必按照文章尾部要求备注添加，否则不予通过）。摘要常见的消费级RGB-D相机具有粗略的内参和外参校准数据的，通常无法满足许多机器人应用所需的精度要求。我们的校准方法基于一种新颖的...
相机标定 单目 双目 RGB-D 非常好用
01-25
相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定 相机标定
simple_depth_registration:更快的ROS深度图像配准
05-15
simple_depth_registration 更快的ROS深度图像配准 这是一个用Python写的苗条的ROS库，用于计算RGB-D图像的深度值从RGB相机而不是IR相机的角度来看。 现有的解决方案（ depth_image_proc ）存在于包中，但是在处理密度深度图像时会遭受重大性能损失。 运行该节点 请参阅。 订阅的主题 /camera/rgb/image_raw （ sensor_msgs/Image ） RGB相机图像 /camera/depth/image_raw （ sensor_msgs/Image ） 深度图像 发表的话题 /simple_depth_registration/depth_registered （ sensor_msgs/Image ） 注册深度图像 /simple_depth_registration/info_image_unregister
USB摄像头运行ORB-SLAM2
m0_63647490的博客
04-14 3634
一：运行的前提 1.先完成usb摄像头相关功能包的安装和标定，可参考我之前写的文章： Ubuntu18.04下usb相机运行与标定 2.以安装好ORB-SLAM2 二：运行 1.在相机标定后生成的calibrationdata文件中，在文件最后有2个文本文件，我这里的文本文件是 ost.txt和ost.yaml，如下图所示： 将ost.yaml文件复制到ORB-SLAM2文件下,并新建一个ost.cpp文件（文件代码如下:注意该代码的文件是./ost.yaml,如果你的文件名不一样，注意.
RGBD相机的介绍和使用
weixin_42749102的博客
07-07 2万+
RGBD相机
RGB-D转3D点云原理及实现代码
新缸中之脑
09-24 2120
在图像处理和计算机视觉领域，RGBD 是指结合图像颜色和深度信息的数据格式。文本介绍如何使用Python将RGBD数据转换为3D点云，可以使用。
RGBD相机模型与图片处理
小白学视觉
03-17 3166
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达图像灰度图灰度是描述灰度图像内容的最直接的视觉特征。它指黑白图像中点的颜色深度，范围一般从0到255，白色为255，黑...
RGB-D（深度图像） & 图像深度
热门推荐
JNing
06-22 6万+
RGB-D（深度图像）   深度图像 = 普通的RGB三通道彩色图像 + Depth Map   在3D计算机图形中，Depth Map（深度图）是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，Depth Map 类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系
深度相机和彩色相机对齐
01-15
对应博文https://blog.csdn.net/taifyang/article/details/131030025
PCL点云-RGBD图像转换到点云
12-20
ROS： RGBD图像(rgb图像，深度图像)转换到点云pcd文件
尝试5读取tfrecord_RGBD_图像分类RGB-D_
10-02
对于rgb-d深度图像的识别分类及处理，数据处理后分类
D435i标定摄像头和IMU笔记一（配置环境篇）
qq_35616298的博客
04-26 7111
IntelRealSense D435i摄像头和IMU标定教程一（配置环境篇）一、标定方案二、环境要求三、环境配置3.1 基本环境安装3.2 D435i驱动和ROS包安装3.3 Kalibr工具安装 一、标定方案 D435i标定的方案为：单IMU标定使用RealSence官网教程、单RGB摄像头标定使用kalibr、单摄像头+IMU联合标定采用kalibr。 二、环境要求 ubuntu16.04、ros kinetic、python2.7、python3.7。 非常建议： 使用ubuntu16.04的版
RGBD图像和深度图对齐
路边的石头
11-19 5242
相机：Xvisio 目的：获取同一坐标系下的深度图和RGB图像 首先根据给出的read_calibration sample把灰度相机改成RGB和TOF相机，得到两个相机的外参和内参 Stereo:彩色相机 Calibration: R:[0.999942, -0.0105642, 0.00221015, 0.0106091, 0.999714, -0.0214202, -0.00198323, 0.0214424, 0.999768] T: [0.00129305, -0.000780199, 0.0
使用Ubuntu20.04+ROS标定Azure Kinect DK深度相机
m0_47700906的博客
06-27 4758
使用 Ubuntu20.04+ROS 标定 Azure Kinect DK 深度相机，包括彩色相机和红外相机的标定。具体是通过结合相机的ros驱动Azure_Kinect_ROS_Driver与相机标定的ros包image_pipeline进行标定。
RGB与RGBD的区别与联系
qq_40851561的博客
09-17 1380
RGB是我们接触最多的颜色空间，但在图像处理时存在局限性
RGB-D论文复习速读
m0_58702532的博客
05-11 2625
[TANet]Three-stream attention-aware network for RGB-D salient object detection IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 28, NO. 6, JUNE 2019 以往基于卷积神经网络的RGB-D融合系统通常采用双流结构，其中RGB和深度输入是独立学习的。多模态融合阶段通常通过在推理过程中连接每个流的深度特征来执行。由于以下两个局限性，传统的双流体系结构可能会经历不...
注意力机制在目标检测中的应用
最新发布
MrLi的博客
05-14 540
注意力机制作为一种有效的机制，在目标检测中有着广泛的应用前景。通过引入注意力机制，模型可以更好地关注图像中的目标区域，提高检测性能和准确性。在YOLOv8中，虽然没有直接引入注意力机制，但可以通过在其结构中加入注意力模块来实现对不同特征图区域的关注。这为改进和优化YOLOv8模型提供了新的思路和方向。
使用kinectv2生成rgbd图像需要图像配准吗
05-11
使用Kinect v2生成的RGBD图像需要进行图像配准，因为它们来自不同的传感器，需要对它们进行校准和配准才能得到一致的空间坐标系。RGB和深度图像之间的配准可以通过相机标定和点云配准实现。在相机标定过程中，需要获取深度图像和RGB图像之间的相对位置和旋转关系，这可以通过使用标定板或其他已知形状的物体来实现。在点云配准过程中，需要将深度图像转换为点云，并将其与RGB图像进行配准，以获得一致的空间坐标系。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值