MeteorNet: Deep Learning on Dynamic 3D Point Cloud Sequences[ICCV2019 Oral]

[论文链接] ｜ [代码链接]

\qquad 作者提出了一种新的方法学习表示动态三维点云序列。方法的关键是一个称为MeteorNet的神经网络模块。该模块以点云序列为对象，在时空邻域中聚合信息，学习每个点的特征。模块可以堆叠在一起，将上一个模块的每个点特性输入到下一个模块。层次化的模块从较大的邻居处获取信息。特征的聚合过程是通过对邻域中的每个点使用相同的多层感知器(MLPs)，然后使用最大池来实现的。

\qquad 文章提出的模型直接使用原始点云的动态序列，并学习全局和局部点特征，可应用于分类、语义分割和场景流估计。

\qquad MeteorNet的网络的结构如上图所示，总共有两种选择，左边的是Early fusion，右边的是Late fusion。Early fusion在第一层使用Meteor模块，使得不同帧的点从一开始就混合在一起，在后面的实验部分中，MeteorNet-cls和MeteorNet-seg使用了Early fusion。Late fusion中在Meteor模块将点混合之前，对每一帧中的点分别应用了几个特征学习层(例如pointnet++)。它允许模型捕获更高级别的语义特性。在接下来的实验中MeteorNet-flow采用了Late fusion。

\qquad MeteorNet网络最重要的部分就是Meteor模块，它以点云序列S（$S=(S_1,S_2,...S_T)$，其中 S t = { p i ( t ) ∣ i = 1 , 2 , . . . , n t } S_t=\{p_i^{(t)}\mid i=1,2,...,n_t\} St​={ pi(t)​∣i=1,2,...,nt​}，点$p_i^{(t)}$由它的欧几里得坐标表示 x i ( t ) ∈ R 3 \mathbf{x}_i^{(t)}\in \mathbb{R}^3 xi(t)​∈R