基于点云的三维重建_香港科技大学王煜教授：深度学习在物体三维重建中的应用...

基于单幅图像的物体三维重建是计算机视觉领域的一个重要问题, 近十年来得到了广泛地关注. 随着深度学习的不断发展, 近年来逐渐成为一个新的学术研究热点问题.

计算机视觉研究的主要目标之一是从二维图像复原三维结构. 二维图像是当今时代极易获取的数据形式, 互联网上每时每刻都在产生海量的图像数据, 而三维模型相对难以获取. 目前已经有许多基于多幅图像的物体三维重建方法被提出, 而基于单幅图像的物体三维重建问题因其输入形式的特殊性使得更具挑战性.仅以单幅图像作为输入使得重建丢失了很多几何信息, 这就需要一些假设或者先验知识, 亦或是从已有的模型基于学习来进行重建. 评价基于单幅图像的物体三维重建的重建精度目前仍没有一个固定的标准, 一些传统方法采用hausdorff距离作为评价重建效果的标准, 而随着深度学习的不断发展, IoU(Intersection over union)值被引入, 且被大多数论文采用为评价标准, 此外亦有论文采用更注重物体几何外形的CD(Chamfer distance)值等.

基于图像的三维重建具有重要的实用价值和应用前景. 随着互联网及电子商务的发展, 很多商家或者企业开始利用三维模型来帮助自己进行产品的展示与推广. 三维模型与二维图像相比, 因为多了一维信息,所以更能将物体的真实感和细节的质感与纹理表现出来. 同时, 在诸如虚拟现实、城市数字化建模、文物数字化保护、医学CT器官重建、三维影视动漫制作等领域, 基于图像的三维重建也具有广泛的应用. 多目图像三维重建往往需要相机标定等额外操作, 相比之下基于单幅图像的三维重建因其输入简单, 更适合于需要便捷式三维重建的应用场合, 因而近年来逐渐成为一个新的学术研究热点问题.

然而基于单幅图像的三维重建常常面临来自以下几个方面的挑战: