MuSCLE阅读

本文介绍了一种新的点云压缩方法,利用八叉树结构和深度学习模型,结合位置和雷达强度等属性,通过熵模型和聚合特征提高压缩效率。实验表明,即使在高压缩率下也能实现良好重建。
摘要由CSDN通过智能技术生成

image.png

创新点:

以往的点云压缩大多只使用了点云的三维位置信息(8位的占用位),很少关注其他属性,如雷达强度等。将这些属性与位置信息一起压缩可以对减少存储产生积极影响。
利用多次LiDAR扫描之间的相关性进行时间上的建模。

Architecture

image.png
首先将LiDAR点云数据进行八叉树细分,
广度遍历八叉树,序列化为两个bit stream,分别包含占用符和强度。
序列化无损,唯一的损失来自八叉树量化。
image.png

假设:八叉树P(t)只依赖前一次扫描P(t-1)。
熵模型分为两个:占用模型和强度模型。
image.png

Occupancy Entropy Model

将上文提到的占用熵模型进行分解:image.png
X(t)ans(i)={X(t)pa(i),X(t)pa(pa(i)),…,X(t)pa(…(pa(i)))}是一系列祖先节点。
P(t-1)是上一次扫描的结果。
可以看到当前结点的占用概率预测依赖于前一次扫描的先验知识以及该次扫描的祖先结点。因此,占用熵模型再次分解为祖先模型和先验扫描模型。

祖先模型

image.png
自顶向下的八叉树递归网络,用一个mlp为每个结点计算一个上下文特征,后用mlp转换为嵌入image.png
然后在每个节点的嵌入和其父节点的嵌入之间进行k次聚合image.png
整个树形递归主干分支表示为image.png

先验扫描模型

image.png
先将前一次八叉树对齐到当前八叉树的坐标框架中。
构建利用前一次八叉树中所有信息的特征,既包含自上而下的信息,也包含自下而上的信息。
自上而下:和祖先模型差不多image.png
自下而上:每个节点的孩子数量不固定,希望输出不随孩子而变化,用聚合函数聚合所有孩子结点信息image.png
image.png
不是前一次扫描的所有信息都有用,也不是所有信息的重要性都一样。
认为只有空间上接近的节点才能对影响预测,且重要性由相对位置定义image.png
对于前一次八叉树的聚合特征image.png用mlp产生最后的嵌入特征。

Intensity Entropy Model

继续分解上文提到的强度模型,能对压缩效率产生积极影响image.png
强度预测的条件依赖占有率和前一次扫描。
依赖占有率并不是要直接使用占有率的值本身,而是强调强度解码发生在点空间坐标重构之后,所有点的三维位置已知。
image.png
将邻居强度集合RN(i)定义为{rj(t−1)}j∈N(i)。
用一个MLP将上一次扫描的邻居强度rj(t−1)映射一个嵌入特征。
然后这个特征通过一个线性层和softmax函数,输出强度概率值。

LOSS

用交叉熵损失进行端到端训练
image.png
xi(t),gt和ri(t),gt是真实值

Experiment

image.png
image.png
O、T和B分别代表使用前一次八叉树、自顶向下聚合特征和自底向上聚合特征。CC表示使用连续conv . D代表八叉树的最大深度。
image.png
与其他方法的对比,即使在高压缩率下也能进行良好的重建。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值