卷积神经网络（CNN）在立体匹配与三维重建领域展现出巨大潜力，尤其是在处理全局语义信息和提高匹配稳健性方面。通过神经网络替换传统方法，已有的工作在两视图立体匹配上取得更好结果。然而，多视图立体匹配（MVS）由于其输入视图的任意性，给深度学习方法带来了挑战。现有的解决方案如SurfaceNet虽有进步，但面临内存消耗大和重建时间长的问题。深度学习在立体匹配任务中的应用，尤其是通过CNN进行水平方向的逐像素视差估计，提高了精度，但仍需解决弱纹理区域的重建完整性问题。
卷积神经网络 有哪些改进的地方
卷积神经网络的研究的最新进展引发了人们完善立体匹配重建热情。从概念看，基于学习算法能够捕获全局的语义信息，比如基于高光和反射的先验条件，便于得到更加稳健的匹配。
目前已经探求一些两视图立体匹配，用神经网络替换手工设计的相似性度量或正则化方法。这些方法展现出更好的结果，并且逐步超过立体匹配领域的传统方法。
事实上，立体匹配任务完全适合使用CNN，因为图像对是已经过修正过的，因此立体匹配问题转化为水平方向上逐像素的视差估计。
与双目立体匹配不同的是，MVS的输入是任意数目的视图，这是深度学习方法需要解决的一个棘手的问题。
而且只有很少的工作意识到该问题，比如SurfaceNet事先重建彩色体素立方体，将所有像素的颜色信息和相机参数构成一个3D代价体，所构成的3D代价体即为网络的输入。
然而受限于3D代价体巨大的内存消耗，SurfaceNet网络的规模很难增大：SurfaceNet运用了一个启发式的“分而治之”的策略，对于大规模重建场景则需要花费很长的时间。
谷歌人工智能写作项目：神经网络伪原创
哪些原理会影响三维重建的图像质量
三维重建基于所谓的三角原理好文案。
对于已经定标的两幅图像(即已知相机的内部参数和外部参数)，假设在两幅图像上，对应点是一对(也就是说是同一点场景物体表面的投影)，则基于两幅图像的投影中心，两条直线经过该一对对应点，最终在空间中汇聚于一点，如此，就提供了场景物体表面中某点的三维立体坐标。
将两幅图像作为例子，指定在同一世界坐标系下这两幅图像的相机矩阵P和P'，是两幅图像的一个对应点，即它们满足对极几何约束，现在要根据P和P'计算点对应的空间点。
m的反投影线与的反投影线确定了通过两相机光心的平面一张，不平行的两条射线，必在空间一点交汇。
也即对应点的反投影射线，及其两个相机的基线，是一个三角形，相机的光心和反投影线的交点作为其顶点，要确定的空间点就是交点，如图4.1所示。
图4.1三维重建原理有一种例外情况是，三维空间中，分布在两个相机基线上的点，对应点不会完成它的恢复任务，这是由于该情况下，反投影的两条射线重合了基线，故不能唯一确定空间点。
4.2MVSNetMVS是一种从具有一定重叠度的多视图视角中恢复场景的稠密结构的技术，传统方法利用几何、光学一致性构造匹配代价，进行匹配代价累积，再估计深度值。
虽然传统方法有较高的深度估计精度，但由于存在缺少纹理或者光照条件剧烈变化的场景中的错误匹配，传统方法的深度估计完整度还有很大的提升空间。
近年来卷积神经网络已经成功被应用在特征匹配上，提升了立体匹配的精度。在这样的背景下，香港科技大学Yaoyao等人，在2018年提出了一种基于深度学习的端到端深度估计框架——MVSNet。
多视图立体匹配（Multi-
最低0.47元/天 解锁文章
1613
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
