基于SFM，MVS的水果表面重建技术

之前做了关于水果表面重建相关工作，特此记录下来。

背景：基于SFM、MVS的水果表面重建相关工作
智能分流的流水线上，有苹果在传送带上，有向前的自由度还有子旋转的自由度。那么在自旋转的过程中，传送带的正上方，左上方以及右上方各有不同视角下的相机。这些相机的内参数是
已知的。

１、首先，对拍摄的图像进行实例分割，将水果从带有背景噪声的图像中分割出来，并且生成纯黑的背景。这里使用的是Mask Rcnn网络。对图像中的水果进行实例分割。首先是faster rcnn的结构，在Faster rcnn的基础上在feature map上加入了NIN的1*1卷积层去进行卷积，对其通道数进行改变使其通道数等于分类数。之后通过再通过转置卷积的操作进行上采样还原。上采样的过程
并不是并不是很精准一般需要进行特征融合的操作进行锐化。那么就能够得到一组无序的图像序列。
因为是水果在传送带上自旋转，而不是相机进行规范有序的移动。所以需要恢复出各个视角图像的位姿关系。这里使用的是局部特征点检测匹配的方法，通过特征点的约束关系来得到图像之间的
场景图。在场景图中通过特征点匹配关系计算出了两两视图间的基础矩阵、单应性矩阵、本质矩阵以及对本质矩阵，对本质矩阵进行分解得到两两图像间的旋转矩阵以及平移向量（外参数），
再根据三角化的得到空间中的三维点云以及对应在不同视角下的同名点tracks。这样就能够判断三角化的夹角来判断视角图像之间的夹角。
２、接着进行SFM的过程，首先选取合适的初始图像对（匹配点足够多，基线不能太短，以及重投影误差要小），三角化、tracks滤波以及BA优化（通过重投影的方式优化相机的外参数）。
进行增量式（tracks）的概念，根据pnp问题进行位姿恢复，再进行三角化以及tracks滤波。当然局部BA（优化焦距以及畸变系数）全局优化（将内外参估计不正确的视角删除）。这样就得到了
稀疏的三维点云以及位姿信息。

３、进行稠密重建：三大方式。基于深度图融合。又分为三小步。邻域选取。深度图估计。以及点云融合。邻域选取，其实就是类似于人眼深度估计的过程，需要为参考图像选取合适的邻域帧去进行深度估计。（全局：匹配点、基线、尺度以及局部：光度一致性、几何一致性）。再进行深度估计之前，需要建立深度与视差之间的关系。即进行水平矫正，将极线搜索的方向固定在水平。一方面加强了匹配精确度，二增快匹配速度。并且建立了视差与深度之间的关系。接下来就是立体匹配的内容，即如何在不同的视角下寻找出同名点的操作。
可以根据光度一致性SSD、SAD、NCC、ADcences等度量代价进行匹配。一般为了容错性，会给每个匹配点留有视差范围。这样就一幅图像而言，形成了3D代价体。如果使用WTA操作对其进行
视差寻找就能得到视差值以及对应的深度值。因为已经知道内外参数，进行逆投影并且已知其深度值。但是会有问题，因为进行立体匹配时，简单的N＊N的窗口内可能存在不同视差以及倾斜面
等情况，所以需要对代价体进行优化。两方面：局部（空间、颜色通过改变窗口的位置、形状以及权重）进行局部聚合操作、全局（数据项还有平滑项涉及到DP优化问题）、半全局。在开源软件
中使用的是SGM以及patchmatch streoeo的方法。patchmatch通过空间传播视角传播的方式将潜在的视差值进行传递。得到视差值之后，进行深度图点云的融合。
４、之后的话进行网格化操作以及纹理贴图。生成3D可视化的效果。
５、改进工作，在colmap的基础上进行特征点的修改相关操作。使用ASIFT算法对原有特征点检测匹配算法进行更改，Asift算法模拟了由于相机视角变换所造成图像形变的过程。相当于在SIFT
角点的基础上增肌了仿射自由度。更加具体的就是，在图像上建立了经度纬度的度量方法。在经度以及纬度上进行点采样。那么就能够模拟出不同视角下的仿射变换矩阵效果。
多线程的使用：在进行图像之间的特征点匹配的时候，由于没有图像的顺序信息。如果两两进行匹配，假如有n张图像，就要两两之间相互匹配比较耗时。因此，在此使用多线程进行加速，因为电脑是4核cpu，因此每次从图像对中拿取4张图像，对每张图像进行多线程特征点匹配操作。理论上会有4倍速度的提升，但是由于线程的创建以及销毁，上下文切换都会有时间消耗。更加具体的对每张图像选取其余图像，放在vector容器中存储为Mat格式。4个线程同时进行进行ASIFT特征点检测匹配任务，将每个图像之间的匹配关系写入二维vector。并且不会重复匹配的图像进行匹配。

实验结果：https://live.csdn.net/v/294289?spm=1001.2014.3001.5501