OccFormer: Dual-path Transformer for Vision-based 3D Semantic Occupancy Prediction 论文代码训练与测试

已于 2023-09-20 13:31:01 修改
阅读量841 收藏 16
点赞数 3
分类专栏： 论文阅读 文章标签： 计算机视觉 自动驾驶 论文阅读
于 2023-09-14 14:36:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46433755/article/details/132850978
版权
博客主要介绍了OccFormer相关操作，包括创建并激活环境，安装pytorch、mmcv等依赖项，克隆occformer仓库并编译。还说明了准备SemanticKITTI数据集的方法，下载预训练权重生成pkl文件。最后介绍了安装mayavi包进行可视化，以及在无图形界面环境使用虚拟X服务器运行脚本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 创建并激活环境

conda create -n occformer python=3.7 -y
conda activate occformer

   安装pytorch

pip install torch==1.10.1+cu111 torchvision==0.11.2+cu111 torchaudio==0.10.1 -f https://download.pytorch.org/whl/cu111/torch_stable.html

安装 mmcv mmdet and mmseg

pip install mmcv-full==1.4.0
pip install mmdet==2.14.0
pip install mmsegmentation==0.14.1

 克隆occformer仓库

git clone https://github.com/zhangyp15/OccFormer.git

 编译 mmdetection3d

cd mmdetection3d
pip install -r requirements/runtime.txt
python setup.py install
cd ..

 安装其他依赖项，如timm、einops、torchmetrics等

pip install -r docs/requirements.txt
pip install setuptools==60.2.0

 准备SemanticKITTI数据集，请下载KITTI Odometry数据集(包括颜色，velodyne激光数据和校准文件)和语义场景补全的标注。

 

 新建OccFormer/data/SemanticKITTI/文件夹，将上述压缩包全部解压至SemanticKITTI/，得到如下数据格式：（注意：不要把data_odometry_color.zip的calib.txt覆盖了data_odometry_calib.zip的calib.txt，最后再解压data_odometry_calib.zip，否则会报错，造成数据格式不对。）

OccFormer
├── data/
│   ├── SemanticKITTI/
│   │   ├── dataset/
│   │   │   ├── sequences
│   │   │   │   ├── 00
│   │   │   │   │   ├── calib.txt
│   │   │   │   │   ├── image_2/
│   │   │   │   │   ├── image_3/
│   │   │   │   │   ├── voxels/
|   |   |   |   |   |—— velodyne/
|   |   |   |   |   |—— times.txt
│   │   │   │   ├── 01
│   │   │   │   ├── 02
│   │   │   │   ├── ...
│   │   │   │   ├── 21

 运行下面的命令，进行数据转换，生成一些npy文件

python projects/mmdet3d_plugin/tools/kitti_process/semantic_kitti_preprocess.py --kitti_root data/SemanticKITTI --kitti_preprocess_root data/SemanticKITTI --data_info_path projects/mmdet3d_plugin/tools/kitti_process/semantic-kitti.yaml

 

 下载预训练权重，运行下面命令，生成pkl文件

bash tools/dist_test.sh projects/configs/occformer_kitti/occformer_kitti.py $YOUR_CKPT 8 --pred-save $YOUR_SAVE_PATH

安装mayavi包，可视化

#python3.8
pip install vtk==9.0.1
pip install mayavi==4.7.3

 使用虚拟 X 服务器：如果你运行代码的环境没有实际的图形界面（例如，通过 SSH 远程连接到服务器），你可以考虑使用虚拟 X 服务器，如Xvfb。首先，确保你已经安装了Xvfb：

sudo apt-get install xvfb

 然后，你可以在Xvfb环境中运行你的脚本：

xvfb-run -a python projects/mmdet3d_plugin/visualize/visualize_kitti.py YOUR_SAVE_PATH/sequences/08/predictions/ YOUR_VIS_PATH

 运行可视化

python projects/mmdet3d_plugin/visualize/visualize_kitti.py $YOUR_SAVE_PATH/sequences/08/predictions/ $YOUR_VIS_PATH

 可视化效果展示

论文阅读：（TPVFormer）Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction
fishfuck的博客
08-22 1107
以视觉为中心的自动驾驶感知的现代方法广泛采用鸟瞰图（BEV）表示来描述3D场景。尽管它的效率比体素表示更好，但它很难用单个平面描述场景的细粒度3D结构。为了解决这个问题，我们提出了一种三透视图（TPV）表示，它伴随着BEV和两个额外的垂直平面。我们通过总和其在三个平面上的投影特征来对3D空间中的每个点进行建模。为了将图像特征提升到3D TPV空间，我们进一步提出了一种基于Transformer的TPV编码器（TPVFormer）来有效地获取TPV特征。
【原文链接】Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction
weixin_45657478的博客
01-20 1204
【原文链接】Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction
OccFormer 开源项目教程
gitblog_01043的博客
08-16 552
OccFormer 开源项目教程 OccFormer项目地址:https://gitcode.com/gh_mirrors/oc/OccFormer 项目介绍 OccFormer 是一个基于双路径Transformer的视觉3D语义占用预测模型，专为自动驾驶的视觉感知设计。该项目从鸟瞰图（BEV）表示转变为3D语义表示，以提高自动驾驶系统的感知能力。OccFormer 在ICCV 2023上被提...
OccFormer 项目使用教程
gitblog_00087的博客
08-16 321
OccFormer 项目使用教程 OccFormer项目地址:https://gitcode.com/gh_mirrors/oc/OccFormer 1. 项目的目录结构及介绍 OccFormer 项目的目录结构如下： OccFormer/ ├── docs/ │ └── prepare_dataset.md ├── src/ │ ├── main.py │ ├── config.y...
OccFormer代码loading_nusc_panoptic_occ.py分析
hu_yuhang的博客
08-07 268
对关键代码增加了一些注释。
两大榜单SOTA！OccFormer：双路径Transformer下的高效语义占用
CV_Autobot的博客
08-11 368
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取今天自动驾驶之心很荣幸邀请到鉴智机器人的Yunpeng Zhang来分享刷新两大权威数据集的新SOTA—OccFormer！如果您有相关工作需要分享，请在文末联系我们！>>点击进入→自动驾驶之心【占用网络】技术交流群论文作者| Yunpeng Zhang编辑 | 自动驾驶之心今天自动驾驶之心很荣幸地邀请到鉴智机器人的Y...
自动驾驶Occupancy梳理笔记（二）:SurroundOcc, OccFormer, VoxFormer, FB-OCC
学习记录
01-10 1390
SurroundOcc, OccFormer, VoxFormer, FB-OCC方法整理解读
【CVPR2023 Best Paper】Planning-oriented Autonomous Driving 阅读笔记
藏晖的博客
07-02 1610
CVPR2023的best paper，虽然不是第一个提出了end-to-end的网络框架。但是，已有的方法可能会遭受累积误差或任务间协同不足的困扰。与之相反，作者认为应该设计和优化一个合适的框架来追求终极目标，即自动驾驶的planning任务。
【论文阅读】COTR: Compact Occupancy TRansformer for Vision-based 3D Occupancy Prediction
weixin_55982578的博客
06-21 1090
为了解决这些问题，论文提出了一种名为Compact Occupancy TRansformer（COTR）的方法，它包括一个几何感知的占用编码器和一个语义感知的组解码器，以重建一个紧凑的3D OCC表示。总结来说，COTR通过提出紧凑的3D占用表示和语义感知的组解码器，有效地解决了3D占用预测中的几何信息丢失、计算成本高和语义可区分性差的问题。现有的3D占用表示缺乏语义可区分性，这限制了网络成功识别稀有物体的能力，这部分是由于数据集中的类别不平衡问题导致的。
【OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments】阅读笔记
既脱春火的博客
10-27 1087
现有的基于Occupancy的重建环境方法严重依赖于LiDAR点云，在纯视觉的系统中不可用。本文提出的OccNeRF用于在没有3d监督情况下训练占用网络与之前考虑有界场景的工作不同，OccNeRF参数化重建的占用场并重新组织采样策略以与相机的无限感知范围保持一致。采用神经渲染将占用场转换为多相机深度图，并通过多帧光度一致性进行监督。对于语义占用预测，OccNeRF设计了几种策略来完善提示并过滤预训练的开放词汇 2D 分割模型的输出。
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
热门推荐
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
【以规划为导向的自动驾驶】Planning-oriented Autonomous Driving
Joining667的博客
05-14 2123
现代自动驾驶系统的特点是按顺序进行模块化任务，即感知、预测和规划。为了执行各种任务并实现高级智能，当代方法要么为单个任务部署独立模型，要么设计具有独立头部的多任务范式。但是，他们可能会遭受累积错误或任务协调不足的困扰。相反，我们认为应该设计和优化一个有利的框架，以追求最终目标，即自动驾驶汽车的规划。以此为导向，我们重新审视感知和预测中的关键组成部分，并确定任务的优先级，以便所有这些任务都有助于规划。我们推出了统一自动驾驶（UniAD），这是一个最新的综合框架，将全栈驾驶任务整合到一个网络中。
自动驾驶大一统？以规划为目标，强可解释性的端到端自动驾驶框架！
3D视觉工坊
08-22 760
3DCV有幸邀请到顶会作者Yihan Hu、Jiazhi Yang、Li Chen等与大家一起分享他们的最新文章，如果您有相关工作需要分享，文末可以联系我们！在公众号「3D视觉工坊」后台，回复「原论文」即可获取pdf或代码。添加微信：dddvisiona，备注：SLAM，拉你入群。文末附行业细分群。1 背景图1 现代自动驾驶系统的系统流程。作者首先分析了现代自动驾驶系统的三大核心部分，分别是感知（...
万字长文谈自动驾驶occupancy感知
weixin_46214675的博客
12-31 6020
照老样子先说为什么会写这篇文章，因为到目前我的分割大模型对实际部署的小模型并没有帮助。这让我有点郁闷，更郁闷的是后面蒸馏的环节目前也不是我在做，照理直接拿推理结果当hard label来搞也不是不可以吧。卡不够我的大模型还在训，等训完想自己上手搞一搞蒸馏，我还就不信了学不好！所以这段时间就写一写看过的paper了，看Bev的时候occupancy相关的有些文章也顺便看了，写一写挺好的。ok，那第一个，为什么自动驾驶感知都已经有bev了，又出来了occupancy(占用网格）？ 这是2022年特斯拉提出来的一
端到端自动驾驶通用算法框架UniAD
Jack___E的博客
03-08 2205
自动驾驶是一项高度复杂的技术，需要多个学科领域的知识和技能，包括传感器技术、机器学习、路径规划等方面。自动驾驶还需要适应不同的道路规则和交通文化，与其他车辆和行人进行良好的交互，以实现高度可靠和安全的自动驾驶系统。面对这种复杂的场景，大部分自动驾驶相关的工作都聚焦在具体的某个模块，关于框架性的研讨则相对匮乏。
CVPR2023 best paper: Planning-oriented Autonomous Driving 解析
achao的专栏
06-18 3319
现代自动驾驶系统通常是模块化的序列任务，这种方式很容易造成累积误差和任务协调不足，因此设计一个端到端架构，从全局的视角出发为agent的交互提供互补的特征提取。
超全的占用栅格与Occupancy Networks汇总（2016-2023）
CV_Autobot的博客
06-10 1218
作者|汽车人 编辑| 自动驾驶与AI点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【占用网络】技术交流群占用栅格在移动机器人和自动驾驶感知中的研究越来越多，今天汽车人也为大家汇总下相关工作，涉及单目OCC和多目OCC！2023BEVDet-Occ链接：https://github.com/HuangJunJie2017/BEVDet Occ-BE...
Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction论文笔记
weixin_45625942的博客
03-16 613
Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction论文笔记。文章提出了一个三视角视图(TPV)表示，它伴随着BEV和两个额外的垂直平面。为了将图像特征提升到三维TPV空间，我们进一步提出了一种基于Transformer的TPV编码器(TPVFormer)来有效地获取TPV特征
计算机视觉——基于树莓派的YOLO11模型优化与实时目标检测、跟踪及计数的实践
最新发布
知来者逆的博客
05-01 2423
YOLO11模型是专门为边缘设备优化的目标检测模型，与YOLOv8相比，它在显著降低模型复杂度（最多降低37%）的同时，仍保持了较高的检测精度（约85%的平均精度均值）。这种优化使得YOLO11能够在资源受限的树莓派上实现高效的实时目标检测，为边缘设备上的复杂计算机视觉任务提供了可能。其轻量级的模型结构和高效的推理性能，使其成为在树莓派上部署目标检测应用的首选模型之一。
About "Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement" 论文复现
03-31
<think>好的，用户需要关于Retinexformer论文的复现方法或代码实现。首先，我得回忆一下Retinexformer的相关内容。这是一个基于Retinex理论和Transformer的低光图像增强模型。用户提到的是one-stage的，所以可能需要关注如何将Retinex分解与Transformer结构结合。 接下来，我需要查找是否有官方代码发布。通常论文作者会在GitHub上提供代码，所以应该先检查论文中的引用或作者的主页。假设用户已经确认没有找到，或者需要第三方实现，这时候可能需要根据论文的方法自行复现。 然后，复现步骤应该包括理解论文结构，比如Retinex分解部分、Transformer的设计、损失函数等。可能需要参考官方提供的架构图，以及相关模块的细节，比如Illumination Adjustment Module或者Multi-scale Transformer Block。 数据准备也是关键部分。用户需要低光数据集，比如LOL、MIT-Adobe FiveK等。数据预处理步骤如归一化、分块等也需要详细说明。 模型实现方面，可能需要使用PyTorch框架，搭建各个组件。比如，分解网络可能用几个卷积层，而Transformer部分可能需要自定义模块。注意跳过连接和注意力机制的实现。 训练过程需要配置优化器，比如Adam，设置学习率和损失函数，结合重构损失和感知损失。用户提供的引用[2]提到使用了Adam优化器，动量0.9，这可能可以作为参考。 测试阶段需要加载预训练模型，进行推理，并评估指标如PSNR、SSIM。如果用户需要可视化结果，还需要保存增强后的图像。 相关问题部分，用户可能对Retinex理论在模型中的应用、Transformer的优势、数据集的获取和训练技巧感兴趣，需要生成这些问题以帮助进一步理解。 最后，确保回答符合格式要求，使用正确的中文术语，LaTeX格式无误，引用标识正确添加。需要检查是否有遗漏的步骤或可能的误解，确保复现方法的准确性和可行性。</think>关于Retinexformer论文的代码复现，以下是基于论文核心思想的实现框架和关键步骤： ### 1. 模型架构实现 Retinexformer基于Retinex理论构建单阶段Transformer架构，核心模块包括： $$I = R \odot L$$ 其中$R$表示反射分量，$L$表示光照分量[^1]。代码实现需包含： ```python class RetinexFormer(nn.Module): def __init__(self, in_ch=3, out_ch=3, num_blocks=4): super().__init__() self.illumination_estimator = nn.Sequential( nn.Conv2d(in_ch, 32, 3, padding=1), nn.ReLU(), DownsampleBlock(32, 64), DownsampleBlock(64, 128) ) self.transformer_blocks = nn.ModuleList([ MultiScaleTransformer(128) for _ in range(num_blocks) ]) self.reconstructor = nn.Sequential( UpsampleBlock(128, 64), UpsampleBlock(64, 32), nn.Conv2d(32, out_ch, 3, padding=1) ) def forward(self, x): illum = self.illumination_estimator(x) for block in self.transformer_blocks: illum = block(illum) return self.reconstructor(illum) ``` ### 2. 关键组件实现 **多尺度Transformer模块**： ```python class MultiScaleTransformer(nn.Module): def __init__(self, dim): super().__init__() self.attention = nn.MultiheadAttention(dim, num_heads=4) self.conv = nn.Conv2d(dim, dim, 3, padding=1) def forward(self, x): b,c,h,w = x.shape x_flat = x.view(b,c,-1).permute(2,0,1) # (h*w, b, c) attn_out, _ = self.attention(x_flat, x_flat, x_flat) attn_out = attn_out.permute(1,2,0).view(b,c,h,w) return F.relu(self.conv(attn_out) + x) ``` ### 3. 训练配置 建议参考论文中的训练设置[^2]： - **优化器**：Adam with β1=0.9, β2=0.999 - **学习率**：初始2e-4，余弦退火策略 - **损失函数**： $$L_{total} = λ_1L_{rec} + λ_2L_{perceptual} + λ_3L_{illum}$$ 其中$λ_1=1.0$, $λ_2=0.1$, $λ_3=0.5$ ### 4. 数据集准备 建议使用标准低光数据集： 1. LOL数据集（485训练 + 15测试） 2. MIT-Adobe FiveK（5000张原始图像） 3. SID（索尼低光数据集） 预处理步骤： ```python def preprocess(image, patch_size=256): # 随机裁剪与归一化 img_patch = TF.random_crop(image, (patch_size, patch_size)) return TF.normalize(img_patch, mean=[0.5,0.5,0.5], std=[0.5,0.5,0.5]) ``` ### 5. 复现验证指标 在LOL测试集上应达到： | 指标 | 论文值 | 复现目标 | |--------|--------|----------| | PSNR | 23.71 | >23.0 | | SSIM | 0.870 | >0.85 | | LPIPS↓ | 0.112 | <0.13 |
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值