Learning Parallel Dense Correspondence from Spatio-Temporal Descriptors for Efficient and Robust 4D

Learning Parallel Dense Correspondence from Spatio-Temporal Descriptors for Efficient and Robust 4D Reconstruction 阅读笔记

这篇文章分析了Occflow的缺点（直接使用一帧来获取转换关系并不能充分考虑到后续点云帧的信息，另一方面使用微分来获得向量场耗时长，长序列的估计会导致误差累积）
因此，该文章从全局的角度出发，使用T-PointNet对全局的4D点云进行处理以获取具有时间信息的点云特征，再使用S-PointNet来对每帧处理空间结果获得该帧全局上的特征，讲T-PointNet的特征与S-PointNet进行相连接，形成具有时空信息的向量，再将其融合未{z0,z1,…,zK}，代表每一帧的时空特征。

得到每一帧的时空特征后，为了重建形状以及时间上的对应关系。需要对每一帧的时空特征进行解耦。

空间上的解耦：
使用占用场Occupy file来表示形状，为了使用占用场f(x)是一个连续的函数，因此使用MLP来表示f(x)，输入时[Px,Zx]，P是某点，Z是点P所在的帧的时空特征

时间上的解耦：
同样的为了使得时间上的解耦函数是连续的，使用MLP来表示一个时间上的点与点再时间上的对应关系，也可以看成一个点的tranfomer函数拟合。输入[P0,Z0,Zt]，该网络中只计算0时帧的每个点到其他帧的对应关系。MLP输出是一个P0点的偏移量，即：