point transformer笔记

如何在点云中引入注意力机制

首先我们知道self-attention最主要的有k,q,v三个值，而点云又自带position，故只需要找出点云的k，q，v，然后按照self-attention的模式来计算重要程度即可。

文章作者就提出了这样一个公式，其中X为该点的k个邻居，xj为第j个邻居，而ϕ(xi)为该点xi的q值，ψ(xj) 为邻居xj的k值，两者相减再加上δ（位置编码），得到的值进行一个mlp（即γ函数）得到attention中的权重，再利用ρ（例如softmax）进行归一化处理，而α(xj)为value值，加上位置编码后再与之前的值相乘就得到了点的重要程度。

该模块是先输入p个点的坐标以及特征，经过线性层（全连接层，其每一个神经元与上一个神经元相连实现对前一层的线性组合），进入pointtransformer，最后再通过线性层并与之前的输入相加得到输出。

该模块先利用最远点采样取出k个点，使p1变为p2，与此同时对p1个点的所有feature经过mlp得到p1个特征向量，再使用最大池化，输出p2个特征。

在该模块由于要将之前舍去的点反卷回来，作者提出在立体空间中做相信的差补（不懂，需要再看看）。