PointPainting 复现

已于 2023-05-22 20:56:08 修改
阅读量2.4k 收藏 41
点赞数 4
文章标签： python 深度学习 人工智能
于 2022-11-19 11:37:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_58207716/article/details/127925768
版权

PointPainting复现

一、下载源码库

下载链接：pointpainting下载

二、安装依赖库

2.1 创建虚拟环境

conda create -n pp python=3.7  # 创建python3.7环境
conda activate pp # 激活环境
conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio=0.7.0 cudatoolkit=10.2 -c pytorch
#必要时需要升高torch版本
#pip install torch==1.8.1+cu102 torchvision==0.9.1+cu102 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html

2.2 安装OpenPCDet

OpenPCDet 是一个开源的 LiDAR 检测框架。 它支持许多流行的数据集，如 Kitti、Nuscenes 等。我们使用 OpenPCDet 作为 LiDAR 检测器。 要安装 OpenPCDet，请先安装它的requirements。 作者修改了 OpenPCDet 的某些部分（包括数据集加载器和训练配置）以支持绘制的 Kitti 数据集，您可以直接在./detector 中使用修改后的版本。 作者给出的运行命令为：

cd PointPainting/detector
python setup.py develop

但是openpcdet的依赖配置很复杂，尤其涉及点云卷积库spconv的部分，因此可以参考：

OpenPCDet安装及其3D检测算法实现

2.3 安装mmsegmentation

对于基于图像的语义分割，我们使用mmsegmentation (OpenLab V3+) 。 要安装此软件包，mmcv与cuda、pytorch版本兼容有要求，因此您可能需要在安装 mmcv-full时更改地址以匹配您的 torch 和 CUDA 版本(https://download.openmmlab.com/mmcv/dist/cu111/torch1.9.0/index.html)，若此链接中没有自己对应的版本，就参考备注（2）中的网址选择具体命令进行安装。

pip install terminaltables

pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu102/torch1.7.0/index.html

您可能会注意到./painting/mmseg 中有一个文件夹，因此您不必手动克隆其存储库。

注：（1）在下载的文件 ./painting/mmseg 中有一个文件夹，作者已经下载了，因此您不必手动克隆其存储库。
（2）mmcv与cuda、pytorch版本兼容有要求，见mmcv官方文档https://mmcv.readthedocs.io/zh_CN/latest/get_started/installation.html根据自己的版本情况选择合适的mmcv：

在这里插入图片描述

(3)对于mmcc-full的下载，有时pip 的安装有时会有问题，可以直接下载手动安装:
在这里插入图片描述

2.4 安装 Hierarchical Multi-Scale Attention for Semantic Segmentation

此工程还支持用于语义分割的分层多尺度注意力。 虽然我们已经在 ./painting/hma 下为您克隆了他们的 github 存储库（进行了一些修改以处理 kitti 数据集），但请参阅上面的github链接以安装其依赖项。

三、下载数据集

目前我们只支持 Kitti 数据集，我们预计未来会更新对 Nuscenes 数据集的支持。 对于 Kitti 数据集，您可能需要如下所示管理数据集。 Kitti 数据集可以在这里找到。 您可能还需要下载 OpenPCDet 提供的planes。

detector
├── data
│   ├── kitti
│   │   │── ImageSets
│   │   │── training
│   │   │   ├── calib
│   │   │   ├── image_2
│   │   │   ├── image_3
│   │   │   ├── label_2
│   │   │   ├── velodyne
│   │   │   ├── planes
│   │   │   ├── painted_lidar (keep it empty)
│   │   │── kitti_infos_train.pkl
│   │   │── kitti_info_val.pkl

注：请注意，我们已经为您生成了 train 和 val 信息。 所以在kitti官网下载好对应数据集后，一定只能将 Kitti 原始数据放入上表相应的文件夹中。

四、进行painting

进行painting,需要依赖具体的语义分割模型。作者提供了三个网络：DeepLabV3 / HMA / DeeplabV3+ 。我们建议使用 DeepLab V3+，这是默认设置。

4.1 DeepLab V3+

当您按如下所示管理数据时，绘画应该非常容易。 首先检查painting.py 脚本并选择您要使用的分割网络索引！
要使用 DeepLab V3+ 需要下载模型的权重，可以运行./painting 下的脚本get_deeplabv3plus_model.sh ：

cd painting
sudo sh get_deeplabv3plus_model.sh

在这里插入图片描述

在这里插入图片描述
然后你可以运行以下命令：

cd painting
python painting.py

painting 过程可能需要数小时，具体取决于您的计算设备性能。 完成绘画后，您可以继续进行 LiDAR Detector 培训！
成功后为：
在这里插入图片描述

此时，出现的报错（一）：
在这里插入图片描述
这是因为MMCV的版本过高，只能兼容1.1.4-1.4.0之间的版本，可以选择1.4.0

在这里插入图片描述

下载后手动安装：
在这里插入图片描述
报错（二）：
在这里插入图片描述
这是mmsegmentation部分缺少权重文件：
在这里插入图片描述
需要运行指令：
在这里插入图片描述

报错（三）：
在这里插入图片描述
参考：
pytorch学习路上遇到的坑

4.2 HMA-based Painting

除了使用 DeepLab V3+，您还可以基于 HMA 生成分割分数。 如果你想使用 HMA，请在 ./painting 下运行以下命令。 它将下载所需的权重并处理整个分割过程。 同样，可能需要几个小时才能完成。

$ sh generate_hma_score.sh

分割分数将保存在./detector/data/kitti/training/score_hma/下。 当你运行完脚本后，查看painting.py脚本并设置SEG_NET = 2。然后参考Painting进行后续步骤。

五、雷达点云训练

对于训练部分，您应该运行以下命令以基于绘制的点云开始训练。

cd detector
python -m pcdet.datasets.kitti.painted_kitti_dataset create_kitti_infos tools/cfgs/dataset_configs/painted_kitti_dataset.yaml

此时，出现的报错：
在这里插入图片描述
解决方法：

对该命令执行的源码文件/home/ypx/ws/PointPainting_ws/detector/pcdet/datasets/kitti/painted_kitti_dataset.py进行修改：

在这里插入图片描述
参考：TypeError: load() missing 1 required positional argument: ‘Loader‘

成功后，结果为：
在这里插入图片描述

cd tools
python train.py --cfg_file cfgs/kitti_models/pointpillar_painted.yaml

运行结果：
在这里插入图片描述

六、可视化

使用经过训练的权重，您可以运行演示以根据绘制的点云推断结果。 我们使用 OpenPCDet 提供的演示脚本并稍微修改visualize_utils.py 。 要运行演示，请尝试执行以下命令：

pip install mayavi
cd tools
python demo.py --cfg_file cfgs/kitti_models/pointpillar_painted.yaml --ckpt ${your trained ckpt} --data_path ${painted .npy file} --ext .npy

python  demo.py --cfg_file /home/ypx/ws/PointPainting-main/detector/output/kitti_models/pointpillar_painted/default/pointpillar_painted.yaml --ckpt /home/ypx/ws/PointPainting-main/detector/output/kitti_models/pointpillar_painted/default/ckpt/checkpoint_epoch_80.pth --data_path /home/ypx/ws/PointPainting-main/detector/data/kitti/training/painted_lidar/000019.npy --ext .npy

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

查看训练参数：

pip install tensorboardX
pip install tensorflow

需要安装确定版本的open3d:

pip install open3d==0.9.0.0
pip install open3d-python

在这里插入图片描述
然后进行到events.out.tfevents.1678719850.ypx所在的路经/home/ypx/ws/PointPainting-main/detector/output/kitti_models/pointpillar_painted/default/tensorboard执行命令：

tensorboard --logdir=/home/ypx/ws/PointPainting-main/detector/output/kitti_models/pointpillar_painted/default/tensorboard

在这里插入图片描述
在这里插入图片描述

报错一：
在这里插入图片描述

报错二：Segmentation fault (core dumped)

先安装部分依赖：

pip install traitsui==6.1.0
pip install traits==6.2.0
pip install pyqt5==5.12.0
pip install vtk==9.2.2

执行可视化命令试试；
在已安装PyQT5的情况下依然报错，在终端输入：

export ETS_TOOLKIT=qt
export QT_API=pyqt5

然后接着执行可视化命令。

关于mayavi的安装使用，最麻烦的就是其依赖的功能包及虚拟环境，我本次的虚拟环境依赖如下（安装这些依赖的时候，注意其安装路径）：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

PX Yue
关注
  • 4
    点赞
  • 踩
  • 41
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
painting:点画的实现
05-02
点画 PointPainting（ ）的实现，一种用于3D对象检测的图像激光融合算法。 代码部分基于库以及对象检测存储库。 该算法包括执行图像的语义分割，将点云投影到生成的分割图以为每个激光雷达点提供其类评分，以及通过BEV中的2D对象检测器（SSD）运行增强的点云。 对算法进行了一些更改，包括删除了方向估计，以及更改了特征提取器。 在KITTI数据集上对Car类进行了预测。 上方显示了图像和BEV地图的预测（绿色）边界框以及地面实况（蓝色） 安装和培训步骤 克隆仓库： git clone https://github.com/rshilliday/painting.git cd painting pip install -r requirements.txt 下载并解压缩（图像，激光雷达，标签，校准品），也下载并保存语义分割网络的 训练和评估网络： python train.py
【论文复现】PointPainting: Sequential Fusion for 3D Object Detection论文学习及复现
qq_38391210的博客
09-12 4694
论文学习 （1）摘要 camera和lidar都是自动驾驶领域很重要的传感器。但是，通过在几个主要的benchmark数据集上做实验发现，基于lidar的方法要优于基于lidar和camera融合的方法。在这篇论文中，作者提出了pointpainting，这是一个序列化的融合方法，可以用来解决这个问题。pointpainting通过将lidar的point投射到基于图片的语义分割网络中，并且将每一个类别的分数添加到每一个点上。实验结果表明，在三个不同的点云目标检测方法 Point-RCNN, VoxelN
PointAugmenting: Cross-Modal Augmentation for 3D Object Detection 中文翻译
weixin_45111613的博客
03-28 1464
** PointAugmenting: Cross-Modal Augmentation for 3D Object Detection ** Chunwei Wang, Chao Ma*, Ming Zhu, and Xiaokang Yang MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University {weiwei0224, chaoma, droplet-to-ocean, xkyang} @
多传感器融合 | 详解PointPainting和MVP
CV_Autobot的博客
10-27 925
作者|谷溢 编辑|深蓝AI点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【多传感器融合综述】获取图像/激光雷达/毫米波雷达融合综述等干货资料！一提到多传感器融合的工作，就不得不帮深蓝学院打一波广告了，多传感器融合的定位课程是我心目中top3的存在，最近又开设了多传感器融合的感知课程。多传感器融合相关的理论真的可以非常复杂，而在感...
kitti数据集在3D目标检测中的入门(二)可视化详解
qq_37534947的博客
06-22 6803
推荐阅读第一篇博客：https://blog.csdn.net/qq_37534947/article/details/106628308
OpenPCDet安装及其3D检测算法实现
weixin_58207716的博客
10-17 7535
OpenPCDet及pointpillar复现
【文章阅读】PointPainting
有所为，有所成长
04-21 7166
前言 本文来自nuTonomy自动驾驶公司，目前已经被CVPR20接收。值得注意的是，本文并不是提出了新的结构，而是在利用额外的信息融合进之前表现SoTA的网络中，表现出了检测精度的提升。 文章地址 https://arxiv.org/pdf/1911.10150.pdf 本文主要内容概括 本文研究了一种新的image和lidar的fusion方式，在18年SOTA的baseline上都显示出精度...
PointPainting
DARLINGB的博客
04-01 756
PointPainting
OpenPCDet复现pointpillars，win10
sinounuo的博客
05-09 1537
下载好zip文件之后，需要将数据集放在OpenPCDet/data/kitti文件夹下面，新建training、testing文件夹，将calib、velodyne、label_2、image_2文件夹解压，并把他们放到对应的training、testing文件夹中，testing文件夹没有label_2文件。出错：Could not build wheels for SharedArray，我查看了conda网站上的内容，sharedarray是只支持Linux系统，不支持Windows的。
论文阅读：PointPainting: Sequential Fusion for 3D Object Detection
qq_53086461的博客
12-06 720
融合图像语义分割的点云进行3D目标检测
OPINIONDIGEST复现
07-27
OPINIONDIGEST复现
论文复现-深度补全算法
03-10
1、传统深度不全算法复现 2、详细内容可见：https://blog.csdn.net/qq_43627520/article/details/123344654?spm=1001.2014.3001.5502 3、复现代码可直接运行、包含有测试用例、以及验证代码
numpy复现xgboost算法内含数据集
10-16
numpy复现xgboost算法内含数据集
numpy实现adaboost算法复现
10-16
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。
PointPainting论文学习
yeeeeeeeeeeees的博客
05-23 98
通过语义分割网络为点云提供额外的类别score，辅助进行3D目标检测。因为只改变了点云的信息维度，因此可以很好的融入现有的点云检测框架中。
Windows Terminal 安装及配置指南
热门推荐
Spovea的博客
07-20 1万+
Windows Terminal 安装及配置 作为Windows用户，你是不是很羡慕Linux的“万能”终端？ 你是不是也想体验Linux的一句话安装？ Windows Terminal正在慢慢更新，现在我来为大家演示如何安装和使用这个终端。 安装 1.Microsoft Store安装【最简单】 (1) 打开Microsoft Store (2) 搜索Windows Terminal （3）进入详情页面进行安装 （4）可能的错误 1.需要加入Windows用户体验计划 2.Windows需要更新
PointPainting: Sequential Fusion for 3D Object Detection
qq_39791748的博客
08-01 367
PointPainting
【论文速览】PointPainting: Sequential Fusion for 3D Object Detection
冯子材的博客
06-03 2974
摘要 摄像头和激光雷达是通常是机器人技术，特别是自动驾驶汽车的重要传感器形式。传感器提供补充信息，为紧密的传感器融合提供了机会。令人惊讶的是，仅使用激光雷达的方法在主要基准数据集上的性能优于融合方法，这表明文献中存在空白。在这项工作中，我们提出了PointPainting：一种填补这一空白的顺序融合方法。PointPainting将激光雷达点投影到仅图像的语义分割网络的输出中并将类分数附加到每个点。然后可以将附加的（painted）点云馈送到任何仅激光雷达的方法。实验显示，在KITTI和nuScenes数据
RXDNFuse复现
最新发布
05-01
复现RXDNFuse技术需要具备一定的技术知识和实践经验。简单来说，复现RXDNFuse的过程包括以下几个步骤： 1. 寻找可注入的Windows系统进程； 2. 制作恶意DLL文件； 3. 利用工具或手动将恶意DLL注入到系统进程中； 4. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值