DDPCC框架
特征提取
特征提取由两个串联的下采样块组成,用于分层减少空间冗余。
用基于稀疏CNN的下采样块,进行低复杂度点云下采样。
IRN(初始残差网络)用于局部特征分析和聚合。
帧间预测模块(最复杂)
帧间预测网络分为三部分:运动估计(MMF),运动压缩,运动补偿(MMR,3DAWI)
MMR
由于点云的稀疏性,相邻两帧对应点之间的距离相差过大, yt和yˆt−1中的点之间无法有效匹配。
用MMF多尺度流信息增强原始流嵌入eo,t得到最后输出et。(思考为什么能实现这个目的)
pruning:根据坐标矩阵裁剪
deconv:反卷积
depooling:反池化
c3xt:当前帧xt在第三次下采样后的坐标矩阵
运动补偿
采用自动编码器式网络,编码器和解码器各由一个步长为2的稀疏卷积组成和转置卷积层。
Q:quantity,量化过程
AE,AD:auto encode,auto decode
MRR
与MMF对应,从重建的流嵌入e^t中恢复粗粒度和细粒度的运动流mc,t和mf,t。
放大mc,t与mf,t求和生成融合运动流mt(当前帧到前一帧的运动向量)。
3DAWI
一个插值算法,从前一帧的点的特征插值得到当前帧所有点的特征,给mt和yˆt−1计算y-t。
mt:当前帧到前一帧的运动向量,用来求u’
ϑu’是u’在yˆt−1上三个最近的邻居
u’ 是u的平移坐标(当前点在前一帧上的坐标)
du’,v是u’和v的欧氏距离
α是与点间距相关的惩罚系数
令α=3m,m是数据集中的最小点距离
残差压缩
同样采用自动编码器模型。
编码器由下采样块和稀疏卷积层组成,将rt转换为潜在残差lt={C3xt,Flt}。
坐标矩阵C3xt用G-PCC(八叉树)进行无损编码。
特征矩阵Flt 使用分解熵模型(上下文模型)进行量化和编码。
解码器使用上采样块恢复重建的残差r^t,并与预测的潜在表示y-t相加,获得重建的特征y’t。
点云重建
用两个串联的上采样模块进行分层重建。
上采样模块使用步长为2的稀疏转置卷积层进行点云上采样。
经过连续的卷积后,稀疏卷积层来生成每个体素的占用概率。
为了保持上采样后点云的稀疏性,用Pruning根据占用概率分离虚假体素。