三维重建 KinectFusion

http://vclab.kaist.ac.kr/siggraph2022p1/index.html
https://github.com/KAIST-VCLAB/SparseEllipsometry
ECCV2022 汇总：https://github.com/DWCTOD/ECCV2022-Papers-with-Code-Demo/
我们提出了第一个同时捕获极化 SVBRDF（包括 3D Mueller 矩阵和折射率）和真实世界对象的 3D 形状的稀疏椭偏方法。与传统的椭偏仪不同，我们的便携式采集设备由现成的固定光学元件组成。我们可以在几分钟而不是几天内捕获我们稀疏的观察结果，从而可以在不同的照明下准确呈现新的视图。椭偏技术可以测量材料的偏振信息，需要使用不同配置的光和传感器精确旋转光学组件。这导致了笨重的捕获设备，在实验室条件下经过仔细校准，并且采集时间非常长，通常每个对象大约需要几天。最近的技术允许捕获偏振空间变化的反射率信息，但仅限于单个视图，或覆盖所有视图方向，但仅限于由单一均质材料制成的球形物体。我们提出了稀疏椭偏法，这是一种便携式偏振采集方法，可捕获极化 SVBRDF 和 3D 形状同时进行。我们的手持设备由现成的固定光学元件组成。每个对象的总采集时间不是几天，而是二十到三十分钟。

matlab的：python用于展示

通过低成本深度摄像机获取的深度图进行三维重建的方法

1、基于RGB-D相机三维重建的开山之作，首次实现实时稠密的三维重建。

2、通过融合序列图像重建三维重建，如果显卡满足要求重建的帧率可以跟得上深度相机的帧率（30Hz）。

4、使用 TSDF 模型不断融合深度图像重建三维模型。

3、通过配准当前帧和模型投影获取的图像计算位姿，比通过配准当前帧和上一帧计算位姿要更加准确。

原文链接：https://blog.csdn.net/fuxingyin/article/details/51417822

程序实现上可以参考Anatoly Baksheev大神的代码Nerei/kinfu_remake，虽然是remake，或许由于初版代码年代略久远，配置编译起来可能会出现这样或那样的问题，所以文章最后会贴上我配置的过程，及遇到的问题和对应的解决方案。

a) Depth Map Conversion (Measurement)：从深度图转为三维顶点及其法向量；

b) Camera Tracking (Pose Estimation)：运用ICP算法求解相机位姿；

c) Volumetric Integration (Update Reconstruction)：运用体积表面建模的方法估算物体表面；

d) Raycasting (Surface Prediction)：光线投影方法，计算物体表面点坐标和法线，用于渲染和下一帧的Camera Tracking步骤中相机位姿求解。

点云配准方法ICP&NDT

参考：啥是KinectFusion - 知乎