InverseMatrix3D

InverseMatrixVT3D: An Efficient Projection Matrix-Based Approach for 3D Occupancy Prediction

https://github.com/DanielMing123/InverseMatrixVT3D

InverseMatrix3D过程总结如下:

         1. 用2D backbone提取N个视角的多尺度图像特征,表示如下:

        2. 针对每个level的特征,都构造2个投影矩阵,分别叫全局投影矩阵和局部投影矩阵。

                全局投影矩阵表示如下:

                        

                局部投影矩阵表示如下:

                        

                 其中,X、Y、Z表示3D occ空间中每个grid的位置。矩阵是根据相机内、外参计算得到,作者没有预测depth。

        3. 各个level的局部特征和全局特征生成。

                局部特征:

                        

                全局特征:

                        

                其中,X^l表示该level的图像特征。作者发现,局部投影矩阵和全局投影矩阵比较稀疏,在这里,作者引入了稀疏矩阵。将对内存的消耗由15G降到了200M。

        4. 局部特征和全局特征融合。作者引入了全局-局部注意力融合模块,如下图所示。              

                用2d卷积、efficient window attention、aspp refine局部全局特征。用3d卷积、FFN(Feed-Forward Network)生成注意力权重。其中,σ为sigmoid函数。

        5. 在融合后的occ特征中,接occ head。

实验

消融实验

  • 5
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值