【点云阅读笔记】LEARNING CONVOLUTIONAL TRANSFORMS FOR LOSSY POINT CLOUD GEOMETRY COMPRESSION

阅读报告——LEARNING CONVOLUTIONAL TRANSFORMS FOR LOSSY POINT CLOUD GEOMETRY COMPRESSION

Worth noticing in Introduction

质量评价衡量：

D1 and D2

D1：计算重建点和K近邻之间的MSE

D2：计算重建点和超平面之间的MSE

---

Main Idea

1. 对于基于传统八叉树模型的方法，它在降低比特流时，其点的数量会指数下降；
2. 通过将点云几何体解释为在体素网格上定义的二进制信号，我们将解码转换为对给定体素是否被占用进行分类的问题。
3. 使用3D自动编码器压缩点云几何体：经典的压缩方法使用手工制作的变换，但我们直接从数据中学习过滤器。
4. 综合考虑了在训练中的量化（Quantization）和率失真（Rate-distortion，RD）

创新点

• 将图像压缩中的二维卷积换成了适合点云的三维卷积
• 将原始点云转换成体素网格（尺寸为 长x宽x高 的数组，值为0或1，分别代表该座标上是否存在点），即将问题转化成一个二分类的问题

模型

$f_a$ := 找寻潜在的表示$y=f_a(x)$。

$Q$ := 量化函数。

$f_s$ := 解压缩表示$\hat{x}={\hat{v}}_S=f_s(\hat{y})$。

传统的编码过程需要经过几何编码——几何量化——几何熵编码的三个过程。在此，这里的$f_a$充当了编码角色。但是与传统的几何编码不同，传统几何编码是通过一些变换（如DCT变换，将数据从时空域转到频率域上来）；这里的是用卷积进行变换。

原文中这里所使用的量化处理同Variational Image Compression With A Scale Hyperprior所使用的一致。这里的量化idea并非直接处理原始数据，而是量化其潜在表示。也就是这里的$y$。这里使用的是Deflate算法。

在解码过程中，作者将其视为一个二分类问题：即对于每一个在体素网格上的点$z\in \Omega$，观察其是否存在。做法是将$\hat{x}={\hat{v}}_S$分解到各自的体素$z$中，对应有一个关联值$p_z$。$p_z$反映了与ground truth即类别$y$的接近程度，值越大，则说明越接近类别$y$，即分类越准确。

而且，因为点云是稀疏的（无论有多dense），因此，对于一个点在不在某一个体素上的问题，$v_s(z)$一般都是0。用${\alpha }_x$来补偿。因此，定义focal loss如下：

$$FL\left(p_z^t\right)=-{\alpha }_z{\left(1-p_z^t\right)}^{\gamma }\log \left(p_z^t\right)$$

其中，

$$p_z^t=\{\begin{array}{lr}{p}_z& \text{ if }y=1\\ 1-p_z& \text{ otherwise }\end{array}$$

$$FL(\tilde{x})=\sum _{z\in S}FL\left(p_z^t\right)$$

最终的损失是利用$L=\lambda D+R$；$D$是用上面的focal loss计算的失真，R是bpov(bits per input occupied voxel)。