【论文阅读+代码复现】Attentional PointNet

Brief

 前段时间开始以为想到了一些不错的idea，实际上的实验效果也很一般了。陷入了没有想法的阶段，那就读一读比较新的papar获得一下别人的想法吧。也所谓“问渠那得清如许?唯有源头活水来”。

Abstruct

• attention机制结合pointent到3D数据检测模型

Introduction

We aim to design an efficient but simple architecture providing real-time performance on lower compute capability hardware

• 作者在点云上使用视觉注意力机制来有顺序的检测包含兴趣区域的小区域。
• 多物体检测
• 可以做到实时检测

Related work

• Converting point clouds into 2D images
• Converting point clouds into volumetric forms
• Another approach is inferring 3D bounding boxes directly from 2D images

We chose PointNet as the backbone for our model.

3 Attentional PointNet

• 首先讲了一大段的视觉注意力的现实描述，比如男生喜欢看漂亮的女孩子。如果有了注意力，那么就会减少计算的带宽。

Focusing onto smaller relevant parts of the scene saves “computational bandwidth” as only fewer pixels need
to be processed.

• RNN ：每一次的迭代都会跑输入的某一个的分辨率输入。不能使用BG来训练—>STN。

3.1 Proposed Architecture

主要是以下几个部分：

• Context Network
• Recurrent Localization Network
• 3D Transformer
• Resampler
• Classifier
• 3D Box Estimation

3.2. Context Network

输入是两部分

• raw data ：$12m\times 12m$
• height map:上面输入数据的垂直投影，$120\times 120$cells

最后一步的合并的对其是很重要的：

Alignment of two embedding spaces was crucial after thorough experimentation we found addition gives equally good results as concatenation while keeping the network capacity low

3.3. Recurrent Localization Network

The Recurrent Localization Network is the heart of our Attentional PointNet architecture

the recurrent localization network sequentially attends to the location of the new object at every iteration (i).

每一次迭代都会去定位一些新的物体。该结构分成两个主要的部分：

• The recurrent part consist of a GRU layer。输入是两部分，其一是context的输入$(B,1024)$，另外一部分是上一次GRU的输出$h_{i-1}(B,512)$

• 3层的FC结构，每次的输入都是GRU输出的$h_i$，用于回归5个参数$\left(\cos {\theta }_i,\sin {\theta }_i,T{x}_i,T{y}_i,T{z}_i\right)\in {\Theta }_i$,这是一个3D变换矩阵，对应了attention操作（选择了attended glimpse）。
  为了简单，作者仅仅考虑$yaw$的旋转，因此我们可以把变换矩阵写成：

  $$T\left({\Theta }_i\right)=\left[\begin{array}{cccc}\cos {\theta }_i& -\sin {\theta }_i& 0& T{x}_i\\ \sin {\theta }_i& \cos {\theta }_i& 0& T{y}_i\\ 0& 0& 1& T{z}_i\\ 0& 0& 0& 1\end{array}\right]$$

这里先挖一个坑，后续想明白了和想起来再来填：这个矩阵具体怎么用？

3.4. 3D Transformer and Resampler

上面得到了一个变换矩阵，那么下面就要用了。如下使用，没想到这么快就填坑了。
$$\left[\begin{array}{l}{x}_i^t\\ y_i^t\\ z_i^t\\ 1\end{array}\right]=T\left({\Theta }_i\right)\left[\begin{array}{c}{x}_i^s\\ y_i^s\\ z_i^s\\ 1\end{array}\right]$$
也就是对于原始的点云输入乘以这个矩阵就好了。这个操作也就是把坐标中心和对应的bbox大小改变以适合interest objects。

3.5. Localization and recognition

既然上面得到了感兴趣区域点（包含512个point），那么这一部分就要处理这些点了嘛。
作者的回归方式采用的是一个lighe-weight的pointenet(T-net),作者修改后的T-Net回归5个参数。也就是：
$$\left(\cos {\delta }_i,\sin {\delta }_i,t{x}_i,t{y}_i,t{z}_i\right)\in {\Delta }_i$$
这个代表了真正的中心点和旋转角度。当然也要回归$(W,H,L)$。
也就是说在回归中心点位置和旋转方向上，进行了两次位置旋转，综合起来就是：
$$T\left({\Psi }_i\right)=T\left({\Theta }_i\right)\ast T\left({\Delta }_i\right)$$
物体类别的判断采用的是两层FC结构，其输入是从GRU得到的$h_i$,输出一个分数

4. Training & Experiments

KITTI数据集：测试集是没有label的，因此我们把训练集合7:3的分成训练集和测试集。

4.1. Data Augmentation

数据划分如下图；采用具有$overlap=1m$的方式进行划分。

• 裁剪成小区域
• 每个区域取样点$4096$个
• 每个分割后的区域都编码其高度信息生成120×120 pixels的灰度图。如下图所示：中间的。

在height map的投影过程中需要注意以下几点：

• 每个像素格子大致占据的高度为$r=10cmm$
• z轴选择的高度为$[-2m,3m]$，目的是差不多刚好覆盖高度为3m的地标物体。
• 投影规则：

$$\begin{array}{c}{\mathrm{P}}_{i\to j}=\left\{{\mathrm{P}}_i=[x,y,z{]}^T|S_j=f_{\mathrm{P}\mathrm{S}}\left({\mathrm{P}}_i,r\right)\right\}\\ H\left(S_j\right)=\max \left({\mathrm{P}}_{i\to j}\cdot [0,0,1{]}^T\right)\end{array}$$

• 数据增广操作，和second中是一样的，首先建立一个gt_data_base，然后随机向场景里边丢gt_box。

4.2. Loss Function

所有模型都采用下面这个统一的损失函数：
$$\begin{array}{c}{L}_{seq-i}=\alpha \ast L_{cls}+\beta \left(L_{T1-reg}+L_{T2-reg}\right)\\ +\gamma \ast L_{size-reg}+\lambda \ast L_{reg}\\ L_{final}=\frac{1}{3}{\sum }_{i=1}^{n=3}{L}_{seq-i}\\ L_{reg}={\Vert I-T(\Psi )T(\Psi {)}^T\Vert }^2\end{array}$$

• BCE作为判别损失，smooth-L1作为回归损失。

5 代码工作

这里是 code

5.1 运行源代码

运行环境：

Python 2.7
CUDA 9.1
PyTorch 1.0
scipy
shapely

另外需要ROS，这里是为了显示用的

ROS
PCL

由于我没有能装ROS的权限，因此显示这一步先不错。
由于第一步数据分割就要ROS包，因此放弃了。