基于图像和点云数据融合的三维重建方法

Reconstruction of accurate 3-D surfaces with sharp edges using digital structured light projection and multi-dimensional image fusion 阅读笔记

2017 Optics and Lasers in Engineering

这篇文章讲的是在结构光三维测量中，对于Sharp Edge测不好的一个状况，得到的点云边缘经常是frayed，难以满足工业metrology上对于critical dimensions are within tolerances 这样的一个需求。

现有的很多方法，都集中在如何优化得到的三维点云的边缘，比如滤波拟合之类的，但是很少有方法专注于重建这个带边缘的轮廓。

这篇文章提出的方法，就是使用数据融合的方法，从一张用SIM获得的超分辨率的图像中获取足够精细的边缘，然后对由structured light获得的三维点云进行去噪，并extrapolate the surface(created by NURBS curface fitting) 和图像反投影相交，从而获得重建的边缘。

这个方法细节很复杂，里面有很多比如点云clustering, SIM生成高精度图像之类的操作，我直觉上觉得，这样的data fusion 肯定是有问题的，但是我目前还没找到，而且这篇文章既没有代码，测试也非常理想化。可能最大的问题就在那个面拟合上，我觉得这个方法很难保证精度高。

当然，data fusion是个值得研究的topic，如果大家发现这篇文章的局限，也欢迎和我讨论。

12/13/2020
问题1：出在这个相交表面处的拟合上，这种方法对于比较厚的零件，能否很好拟合？我觉得这个曲面拟合不靠谱。为什么呢？边缘处，比如深孔，曲面拟合的时候，如何将内壁去除？如果无法去除，那么在拟合的时候，在弯曲的地方，是否有可能，在图像反投影的时候，出现多个交点呢？

问题2：只适用于理想情况，如果提取的2D边缘带杂点，他这个投影自然就坏了。

文章摘抄：

A range image is firstly generated from the point cloud data for the object and then the edges in the range image are detected and mapped into the original point cloud, to form an edge map. (Data fusion with image and point cloud)

(3D edge detection methods, curve fitting, this is not reliable. Cannot guarantee the precision)

A survey reveals that most studies focus on post data processing for acquired 3-D point clouds, but the accurate reconstruction of 3-D geometric features, such as surface edges, has been neglected.

The method reconstructs the 3-D sharp edge surface profile by integrating the detected accurate 2-D surface edge with its detected 3-D surface profile.

The object surface between the detected 2-D edge and the identified 3-D surface contour is reconstructed by extrapolating the surface and its intersecting 3-D edge is determined by projecting the accurate 2-D edge onto the extrapolated 3-D surface profile.