干货！使用静态模型分类动态点云序列

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

钟家兴：

牛津大学计算机科学系在读博士，师从Andrew Markham教授和Niki Trigoni教授，研究兴趣为机器学习和计算机视觉，主要是场景理解中的三维视觉以及视频分析。

场景流是捕捉 3D 点云运动场的强大工具。然而，很难将基于场景流的模型直接应用于动态点云分类，因为点云的非结构化性质使得难以高效和有效地跟踪点对关系。为了在不跟踪点对关系的情况下分析三维运动，我们通过将 ST 曲面的运动学概念推广到特征空间来提出运动学启发的神经网络 (Kinet)。通过在特征空间中展开 ST 曲面的法线求解器，Kinet 隐式地从静态点云模型编码特征级动态。由于网络结构的微小变化和较低的计算开销，使用给定的静态模型联合训练和部署我们的框架是很容易的。在 NvGesture、SHREC'17、MSRAction-3D和NTU-RGBD 上的实验证明了Kinet在性能、参数数量和计算复杂度方面的优势，以及它对各种静态骨干网络的多功能性。开源代码地址为https://github.com/jx-zhong-for-academic-purpose/Kinet。

我们试图用一个静态的模型分类一个动态的点云序列。

Task

Classification for Dynamic Point Cloud Sequences

1）Input: a sequence of point cloud frames

2）Output: sequence-level category of gestures, actions, events, etc.