Google Scanned Objects: A High-Quality Dataset of 3D Scanned Household Items【google 3D数据集】

Google Scanned Objects: A High-Quality Dataset of 3D Scanned Household Items

本文主要是3D视觉数据集的创建，包括讲述该数据集的优点、缺点、运用场景模型，以及数据采集方法的相应描述

论文连接

问题解决

1. 在目前的3D深度学习和机器人视觉中，需要很多的数据集进行相应的模型进行训练预测，本文运用谷歌扫描物体模型（Google Scanned Objects），通过本模型即可将多张照片组合为扫描物体，生成的数据集我们也称为GSO dataset，在模型nteractive Gibson benchmark模型强化训练时，运用的就是GSO dataset
2. 提高数据集的丰富性，多样性，规范性
3. 如何从2D图片转换为立体模型结构
4. 目前自动生成的3D建模软件程序无法很好的还原实际物体

论文

1. 3D模型所要运用的一些场景

上图描述了一些pattern过程，图a为通过2D图片进行校准；图b为电脑生成3D扫描物体；图c为通过相应的pattern能够使检测的位置方位达到亚像素级别的精度；图d主要是对3D物体进行HDR（高动态范围成像的目的就是要正确地表示真实世界中从太阳光直射到最暗的阴影这样大的范围亮度）和gray-codes不同的操作下的图片，这两个方法都与光线角度照射方向有关

上图主要是3D数据集的质量问题说明，图a为流体闭合问题；图b为网格状物体数据质量较差

2. 3D网络模型的需求：

1）efficient physical scanning setups 高效物理扫描
2）target lighting 物体照明环境
3）camera reliability 摄像头可靠性
4）scanner performance 扫描仪能力
5）color matching 色调
6）texture rendering 纹理绘制
7）dealing with optically uncooperative materials 光学无法适配的物体

3. 整体模型的流程描述 pipeline
   

整体模型数据采集方式：camera + projector + camera (texture camera) --> cenrtal computer

3. 数据集概述

1030个扫描物体，共有13Gb