Dynamic Fusion 总结(根据论文:《DynamicFusion: Reconstruction and Tracking of Non-rigid Scenes in Real-Time》
摘要
之前的相关工作分为两类:①实时非刚体的跟踪算法,但不适于动态场景或无模板的运动场景;②离线动态场景的跟踪和重建,但做不到实时的重建与跟踪。而DynamicFusion方法构建了第一个能够实时重建非刚性变形动态场景的系统。与KinectFusion一样,随着新一帧数据融合进模型中,得到的重建模型的细节更加完整和精确。
整体思路
①输入第一帧深度图
由输入的第一帧深度图构建一个静态的固定的canonical model(关键模型)。
②输入后续帧深度图
由于场景是动态非刚性的,输入后续帧的深度图中物体的动作状态发生了非刚性变化。
在当前时刻t输入一帧深度图,通过几何变换undo(撤销)物体的动作,然后与上一时刻t-1的canonical model进行fusion(融合),得到更新后更加完善的当前时刻t 的canonical model,再通过估计得到的几何变换将canonical model warp(扭曲)为当前时刻t输出的live frame(实时帧),最终实现动态非刚性场景的实时跟踪与重建。