YCB-VIDEO DATASET

YCB-VIDEO DATASET

提供物体姿势和分割真值标记以物体为中心的数据集通常因为是人工标注的,所以数据量很小。例如常用的LINEMOD数据集提供大约1000图像的手工标记为数据集中的15个对象。虽然这样的数据集对于评估基于模型的姿态估计技术很有用, 它比用于训练最先进的深度神经网络的典型数据集小了好几个数量级。解决这个问题的一个办法是用合成图像来增加数据。然而,必须注意确保性能在真实场景和渲染场景之间的通用性。

  • A. 6D位姿标记
    为了避免手动注释所有的视频帧,我们只在第一帧中手动指定物体的姿势。利用每个物体的有符号距离函数(SDF)表示,我们在第一个深度帧中细化每个物体的姿势。接下来,通过固定物体的相对位置并通过深度视频跟踪物体的配置,初始化摄像机的轨迹。最后,在全局优化步骤中完善相机轨迹和相对物体的姿势。

符号距离函数(sign distance function),简称SDF,又可以称为定向距离函数(oriented distance function),在空间中的一个有限区域上fixing确fixing定一个点到区域边界的距离并同时对距离的符号进行定义:点在区域边界内部为正,外部为负,位于边界上时为0。

在这里插入图片描述

  • B. Dataset Characteristics
    我们使用的物体是图5所示的21个YCB物体的一个子集,由于高质量的三维模型和良好的深度可见度而被选中。视频的采集是使用一个华硕Xtion Pro Live RGB-D相机在快速剪裁模式下采集的。它提供了分辨率为640x480的RGB图像,速度为30FPS,在设备上捕获1280x960的图像,然后通过USB传输中心区域。这导致了 更高的RGB图像的有效分辨率,但代价是较低的FOV,但鉴于深度传感器的最小范围 这是一个可以接受的折衷方案。完整的数据集包括 133,827张图片,比起 LINEMOD数据集。有关该数据集的更多统计数据。见表一。图6显示了我们数据集中的一个注释例子 其中,我们根据注释的 地面真实姿态。。请注意,我们的注释准确性受到了 误差的几个来源,包括RGB传感器的滚动快门包括RGB传感器的滚动快门、物体模型的不准确、RGB和深度的轻微不同步。RGB和深度传感器之间的轻微不同步,以及本征和外征的不确定性。相机的内在和外在参数的不确定性。
    在这里插入图片描述
  • 模型文件举例
    在这里插入图片描述
  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
ycb-video数据集是一个针对视觉物体识别和6D姿态估计的数据集,其中包含了多个物体在不同背景和光照条件下的RGB-D图像序列。 在对该数据集进行预处理过程中,首先需要将每个物体的图像序列按照物体类别进行归类。然后对于每个物体类别的图像序列,需要执行以下步骤: 1. 数据加载:从ycb-video数据集中读取RGB图像和深度图像。 2. 相机标定:根据数据集提供的相机内参,对深度图像进行尺度转换和去畸变处理,以保证和RGB图像的对齐。 3. 深度滤波:对深度图像进行滤波,去除深度值失真和噪声。 4. 背景分割:通过设定阈值和形态学操作,将背景从图像中分离出来,得到前景物体的二值掩码图像。 5. 物体检测:利用目标检测算法,如YOLO或Faster R-CNN,对前景物体进行检测和定位,得到物体的包围框。 6. 物体安装点生成:根据物体的包围框信息,计算物体的安装点。安装点是指物体表面上的一些关键点,用于估计物体的3D姿态。 7. 数据增强:对于每个物体的图像序列,可以应用数据增强技术,如随机裁剪、旋转、缩放等,来增加数据的多样性和鲁棒性。 8. 数据保存:将处理后的RGB图像、深度图像、二值掩码图像、包围框信息和安装点信息以及其他相关的元数据保存到相应的文件中,以供后续训练和测试使用。 通过以上预处理步骤,可以将ycb-video数据集转换为适合密集融合(DenseFusion)算法训练和测试的数据集,为物体识别和6D姿态估计的研究提供了基础。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值