P4Transformer阅读

CVPR 2021
为了捕捉点云视频中的动态，通常采用点跟踪的方法。但是表示同一位置的点在不同帧中时有时无，使得计算精确的点轨迹非常困难，并且跟踪通常还依赖于点的颜色，因此在缺乏颜色信息的点云中容易失效。

贡献：

1.提出P4Transformer，在时空上建模原始点云视频。
2.为了嵌入时空局部结构，减少Transformer需要处理的数据，我们提出了点4D卷积。
下游任务：3D动作识别和4D语义分割。

Pipeline

Point 4D Convolution

用卷积捕获局部结构。
先对时空进行解耦。

卷积核的权重是位移相关的，不是共享的，由函数ζ生成。

⚪为元素级操作，如加法或乘积。
当Ft不可用时，函数实现为
时空卷积区域的确定用的pstnet的方式，构建point tube。

Transformer

旨在根据输入的相似性合并相关的局部区域，使每个点具有更大的感受野。
将锚点坐标(x,y,z,t)和得到的局部特征输入到Transformer中。
类似于一个embedding的过程。
对I进行自注意。

在整个点云视频上运行以捕获整个视频上的注意力信息，且使用了多头等机制进行增强。

下游应用

三维动作识别

先用4D卷积来编码时空局部区域。其次堆叠m个Transformer，以捕获所有编码局部特征的外观和运动信息。然后最大池化将变换后的局部特征合并为单一的全局特征。最后MLP层将全局特征转换为动作预测。

四维语义分割

可以看成point-wise的分类任务。由于用于分割的点云帧通常是高分辨率的，因此堆叠多个4D卷积，以指数级减少Transformer需要处理的点数。由于4D卷积减少了点数，增加特征传播层进行插值。使用基于k近邻的反距离加权平均(这里应该也是保存了原始点坐标)。

实验

三维动作识别

在MSR-Action3D上动作识别的准确率。

在NTU上动作识别的准确率对比。

在NTU上动作识别的运行时间对比。

四维语义分割

在Synthia上四维语义分割的mIoU对比。

消融实验

时间卷积步长和空间邻域范围的消融实验。

Transformer层数和多头注意力头数的消融实验。
随着Transformer层数的增加，P4Transformer可以达到更好的精度。然而，过多的层数会降低性能。这是因为，当网络变得更深时，梯度可能会消失或爆炸，使得网络难以训练。

帧级和视频级自注意力的消融实验。