【点云阅读笔记】OctAttention

阅读报告——OctAttention

OctAttention: Octree-based Large-scale Contexts Model for Point Cloud Compression[1]

Intro

本文Idea

首先用八叉树表示点云，以减少空间冗余，这对于具有不同分辨率的点云是鲁棒的。

然后设计大感受野的条件熵模型，对兄弟和祖先上下文进行建模，以利用相邻节点之间的强依赖性，并采用注意机制来强调上下文中的相关节点。

Intro上值得注意的信息

点云数据有处理的算法——大致分为：voxel-based, image-based and tree-based的算法。

对于voxel-based methods：利用了体素表示所保留的低级几何特征。

几篇值得注意的文献：

1. voxel-based Point Cloud Compression

   1. Learning-Based Lossless Compression of 3D Point Cloud Geometry.
   2. Multiscale deep context modeling for lossless point cloud geometry compression
   3. Learning Convolutional Transforms for Lossy Point Cloud Geometry Compression

2. Tree-based Point Cloud Compression

   1. Layer-Wise Geometry Aggregation Framework for Lossless LiDAR Point Cloud Compression
   2. OctSqueeze: Octree-Structured Entropy Model for LiDAR Compression.
   3. VoxelContext-Net: An Octree based Framework for Point Cloud Compression.

Contribution:

我们提出了一种树结构的注意机制来模拟大规模上下文中节点的依赖性，该机制通过扩展上下文的感受域和利用兄弟节点及其祖先的特征来实现。

我们使用掩码操作来并行编码八叉树，以缓解在大规模上下文中引入兄弟的缺点。

我们针对激光雷达和目标点云的点云几何压缩通用模型在多个大型数据集上实现了最先进的性能。

八叉树

理论上，八叉树模型是可以获得任意精度的。它是一种对原始点云的有效果的逼近，它像是对原始点云数据的一种在空间上的逼近。我们假设所有点云上的点在一个比较大的正方体上（Level 0）。而对这个正方体，我们还能够再划分（Level 1），再划分（Level 2），以此划分下去（注意，一个较大的立方体划分为8个小的立方体）。

紧接着，我们可以将这些所有划分到不同level的小块用一个八叉树链接起来。

在叶子节点上，一个8-bits的占用代码表示8个立方体，立方体的边长等于量子化步长（the quantization step， $qs$）。P中的点与最近的对应立方体对齐并合并。点云通过逆量化重建：

$$\hat{P}=P_Q\ast \mathrm{q}\mathrm{s}+\text{ offset }$$

误差：

$$e=\underset{i}{\max }{\Vert {\hat{P}}_i-P_i\Vert }_{\infty }\le \frac{\mathrm{q}\mathrm{s}}{2}$$

很明显，我们可以通过无限缩小$\mathrm{q}\mathrm{s}$以达到无限逼近的目的。

上下文模型

根据香农定理，它的比特率的下限是它的信息熵。因此，我们需要准确地预测分布（因为所估计的概率越接近，则实际比特率${\mathbb{E}}_{\mathbf{x}\sim P}\left[-{\log }_{2}Q(\mathbf{x})\right]$越接近${\mathbb{E}}_{\mathbf{x}\sim P}\left[-{\log }_{2}P(\mathbf{x})\right]$）。

所提出的分布函数$Q(x)$：

$$Q(\mathbf{x})=\prod _i{q}_i\left(x_i\mid {\mathbf{f}}_{i-N+1},\dots ,{\mathbf{f}}_k,\dots ,{\mathbf{f}}_i;\mathbf{w}\right)$$

对$x_i$而言，分布函数是是以$N-1$个之前的所提取出的特征作为条件之母（其实就是$N-1$个兄弟结点），然后对于每一个$f_k$，都有：

$$f_k=\left[{\mathbf{h}}_k^{(0)},{\mathbf{h}}_k^{(1)},{\mathbf{h}}_k^{(2)},\dots ,{\mathbf{h}}_k^{(K-1)}\right]$$

分别是该结点的$K-1$个的父结点。

$${\mathbf{h}}_k=\left[S_k{W}_1,L_k{W}_2,O_k{W}_3\right]$$

$S_k$： one-hot coded occupancy,
$L_k$： level index
$O_k$： octant index
$W$ ： respective embedding matrix.

嵌入矩阵：不仅起了单纯嵌入的这个作用，还起标准化的作用。

这里有个技巧：

It should be noted that the depth and octant of $n_i$ are already available while decoding $n_i$, yet its
occupancy code xi is unknown, so we pad it with $x_{i-1}$.

Attention机制

Attention 很适合用在大范围的依赖性问题上，所以非常适合用在大范围的上下文中。而点云压缩恰恰好需要大量的上下文信息。
本文的Attention方面架构如下：

这里，所使用的是$K$个head的Attention，并且所使用的是self-Attention，即$Q$,$K$,$V$是相等的。
这里的注意力得分定义如下：
$$a_{m,n}^{(t)}=\frac{\exp \left({\mathrm{MLP}}_1\left({\mathbf{h}}_m^{(t)}\right)\cdot {\mathrm{MLP}}_2^{\mathrm{T}}\left({\mathbf{h}}_n^{(t)}\right)\right)}{{\sum }_{k=i-N+1}^m\exp \left({\mathrm{MLP}}_1\left({\mathbf{h}}_m^{(t)}\right)\cdot {\mathrm{MLP}}_2^{\mathrm{T}}\left({\mathbf{h}}_k^{(t)}\right)\right)}$$
其中，$a_{m,n}^{(t)}$表示结点$m$和结点$m$的在第$t$个头的注意力权重得分。值得注意的是，这里并非直接用点积，而是用了$e$的指数幂。
最后，最终的权重向量如下：
$${\mathbf{C}}_i^{(t)}=\sum _{k=i-N+1}^i{a}_{i,k}^{(t)}\cdot {\mathrm{MLP}}_3\left({\mathbf{h}}_k^{(t)}\right)$$

最终，所输出的概率如下：
$$q_i(\cdot \mid \mathbf{f};\mathbf{w})=\mathrm{softmax}\left(\mathrm{MLP}\left({\text{ MultiHead }}^{(2)}(\mathbf{f},i)\right)\right)$$
这里，值得注意的是，${\text{ MultiHead }}^{(2)}(f,i)$的${}^{(2)}$是因为，原文架构中，是有两个多头注意力layer的。

Learning

$$\ell =-\sum _i\log q_i\left(x_i\mid f;\mathbf{w}\right)$$
这一步我还没有一个比较好的感知。先跳过。