科学家教会了一套计算机程序通过单张2D图像构造出3D模型,利用类似于人类的视觉线索引申出3D信息。大多数的3D成像系统通过对比所选图像中不同点的详细信息来计算深度,或是采用一套构造好的光源列阵来得出目标物的形状。
而这种新技术,又被成为Make3D,不需要特殊的设备,就能够将通过相机(甚至是家用相机)拍摄的图片重新构造出3D信息。为了做到这一点,软件首先要区分图像内构成图像表面的“Plane”,将其分解为一系列的3D“超-像素”。
随后,软件还能根据人类通常依靠对2D图像理解的视觉线索来计算出这些“Plane”的深度及方位。这些线索包括质地的变化,表面倾斜度,以及目标物是否为焦点。“例如,图像表面的质地在不同的距离及方位进行观看时表现的就有所不同,”美国斯坦福大学Ashutosh Saxena说。“铺了地砖的地板都有平行线,在图片中就会呈现出地砖的线条,这样的话在一条线上,较远的区域就会表现出较大的变动,而较近的区域变化就会相对较小。我们在模型中能够获取这方面的特点。
这套软件通过机器学习算法,能够学着正确理解这些特点,并进行深度测量。科学家已经通过400张2D图像以及从各种不同场景中获得的相应的3D数据对它进行了培训。该团队随后采用Make3D对剩余的134张图像,以及相对的3D激光扫描数据,和588张从英特网上搜集而来的图像,进行了测试,并请观察人员对这些结果进行确认,看是否属实。整体来看,精确率为64.9%。Saxena近日建立了一个工具,让用户能够在软件出错时对构造的模型进行拉伸。这种算法需要通过转换进行学习,所以能够在未来的挑战中取得更好的结果。
“小孩子做事时出了错,家长会给出一些暗示来教他如何在下次做的更好。这跟小孩子的学习情况非常类似。”Saxena说。该项研究将在旧金山举行的Siggraph会议(8月11日-15日)上进行了演示。
该团队还表示,这项技术能够在多数因3D视觉设备昂贵而不能采用的日常设备中应用,如:房地产商能够采用这种软件进行房屋的3D模型构造,展现给潜在客户。它还能应用于机器视觉设备。立体视觉的精确度取决于两个相机之间的距离,如果相机距离过近,就很难对远方的目标物深度进行估计。这限制了机器人导航设备,因为快速移动的自动机器人和车辆需要精确的深度预测来避免障碍。整合了单目立体视觉的机器人能够得到更好的效果。
在未来,该团队还将就如何使软件对图片内容进行识别、对场景进行分类进行研究,这将提升机器人在周围环境中的移动能力。
科学家通过2D图像构建3D模型
最新推荐文章于 2022-09-15 14:55:55 发布