Centerfusion算法环境配置及模型训练

已于 2023-05-11 15:06:42 修改
阅读量3.1k 收藏 40
点赞数 8
分类专栏： CenterFusion 文章标签： 算法 python 人工智能 ubuntu pytorch
于 2022-12-16 19:09:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34972053/article/details/128346579
版权

Centerfusion算法环境配置及模型训练

概述

本项目搭建环境如下：
ubuntu20.04（非必须）
nvidia驱动版本515.65.01（非必须）
python3.7（必须）
CUDA11.0（必须）
cuDNN8.0（必须）
pytorch1.7.1（必须）

1. 配置conda环境

1.1 新建conda环境

使用python3.7版本

conda create --name pytorch17 python=3.7

新开一个终端进入虚拟环境 ，以下所有安装均在该环境下进行

source activate pytorch17

1.2 安装cuda

conda install cudatoolkit=11.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/linux-64/

或者不指定镜像源

conda install -c nvidia cudatoolkit=11.0

1.3 安装cudnn

conda install cudnn=8.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/linux-64/

或者不指定镜像源

conda install -c nvidia cudnn=8.0.4

1.4 安装pytorch

pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

1.5 安装cocoapi

pip install -i https://pypi.douban.com/simple/ cython
pip install -i https://pypi.douban.com/simple/ -U 'git+https://gitee.com/monkeycc/cocoapi.git#subdirectory=PythonAPI'

2. 配置Centerfusion

2.1 克隆CenterFusion的github库

cd ~
git clone https://github.com/mrnabati/CenterFusion.git

2.2 安装依赖包

pip3 install scikit-learn==0.21.0 
pip3 install opencv-python==4.0.0.21  
pip3 install Cython==0.29.21  
pip3 install numba==0.49.1      
pip3 install progress==1.5
pip3 install matplotlib==3.3.3
pip3 install easydict==1.9
pip3 install scipy==1.5.4
pip3 install pyquaternion==0.9.9
pip3 install nuscenes-devkit==1.0.5 opencv-python==4.0.0.21 numpy==1.19.4    pip3 install pyyaml==5.3.1
pip3 install motmetrics==1.1.3
pip3 install tensorboardx==2.1

2.3 安装DCNv2

下载DCNv2，并执行./make.sh，在此之前需要先修改文件内容换为python3

cd $CF_ROOT/src/lib/model/networks
rm -rf DCNv2
git clone https://github.com/lbin/DCNv2.git
cd DCNv2
./make.sh

编译可能会报unsupported gpu architecture 'compute_86’错误
错误原因：显卡算力太强，需要进行限制
在conda虚拟环境中降低显卡算力为8.0

conda env config vars set TORCH_CUDA_ARCH_LIST="8.0"

重新启动虚拟环境

conda deactivate
conda activate pytorch17

查看虚拟环境中的环境变量，有刚刚加入的环境变量即可

conda env config vars list

重新编译DCNv2

./make.sh

2.4 下载nuscenes-devkit包

下载该包放入对应位置

cd ~/CenterFusion/src/tools
rm -rf nuscenes-devkit/
git clone https://github.com/nutonomy/nuscenes-devkit.git

3. 数据集准备

3.1 下载数据集

从nuScenes网站下载nuScenes数据集
或百度云盘链接: https://pan.baidu.com/s/18XEvDtzrFjHA9XD5vy_uyQ 密码: wu7h
需要注册账号，注册后进入看到以下画面
在这里插入图片描述

下拉至Full dataset (v1.0)
在这里插入图片描述

将下载的文件解压到CenterFusion\data\nuscenes目录中。如下图所示
在这里插入图片描述

3.2 转换数据集格式为COCO格式

cd CenterFusion/src/tools 
python convert_nuScenes.py

报错：ImportError: No module named nuscenes.nuscenes,原因未安装nuscenes-devkit

pip install nuscenes-devkit

然后将convert_nuScenes.py文件的56行修改为NUM_SWEEPS = 3
![\]](https://img-blog.csdnimg.cn/8a3732a2f95b4fd29c7f3976d746f594.png)

运行py文件要使用python3

python3 convert_nuScenes.py

成功转换

4. 预训练模型文件下载

在这里插入图片描述

作者提供文件在google drive
centerfusion_e60
centernet_baseline_e170
百度云盘链接: https://pan.baidu.com/s/1j_M5AzD2chkAPNjCrEq7Zg 密码: veup

下载后放入/CenterFusion/models文件夹下

5. 常见错误及其解决方案

5.1 错误1

Stopping at filesystem boundary (GIT_DISCOVERY_ACROSS_FILESYSTEM not set).
Traceback (most recent call last):
  File "test.py", line 215, in <module>
    prefetch_test(opt)
  File "test.py", line 73, in prefetch_test
    Logger(opt)
  File "/root/autodl-tmp/CenterFusion/src/lib/logger.py", line 34, in __init__
    subprocess.check_output(["git", "describe", "--always"])))
  File "/root/miniconda3/envs/env1/lib/python3.7/subprocess.py", line 411, in check_output
    **kwargs).stdout
  File "/root/miniconda3/envs/env1/lib/python3.7/subprocess.py", line 512, in run
    output=stdout, stderr=stderr)
subprocess.CalledProcessError: Command '['git', 'describe', '--always']' returned non-zero exit status 128.

看倒数第二个 File 路径，打开 /root/miniconda3/envs/env1/lib/python3.7/subprocess.py文件，修改第 411-1=410 行，将 check=True 改为 check=False 即可
在这里插入图片描述

如果是没有使用虚拟环境，去找 …/lib/python3.7/subprocess.py 这样的路径，实在找不到的话可以先训练一下子，等它报错，然后看倒数第二个路径就可以很容易找到了。

5.2 错误2

python: can't open file 'tools/nuscenes-devkit/python-sdk/nuscenes/eval/detection/evaluate.py': [Errno 2] No such file or directory
Traceback (most recent call last):
  File "main.py", line 140, in <module>
    main(opt)
  File "main.py", line 106, in main
    with open('{}/metrics_summary.json'.format(out_dir), 'r') as f:
FileNotFoundError: [Errno 2] No such file or directory: '/root/autodl-tmp/CenterFusion/src/lib/../../exp/ddd/centerfusion/nuscenes_eval_det_output_mini_val//metrics_summary.json

这是由于 ~/CenterFusion/src/tools/nuscenes-devkit 这个文件夹是空的，还要自己手动去下载
命令如下：

#在 ~/CenterFusion/src/tools 文件夹下，先删除原来的空文件夹
rm -rf nuscenes-devkit
#再下载 nuscenes-devkit
git clone https://github.com/nutonomy/nuscenes-devkit.git

5.3 错误3

训练模型之后，在 CenterFusion 下生成 exp/ddd/centerfusion/logs_20xx-xx-xx-xx-xx/log.txt 文件，打开文件后，会发现这是空的！！！这是因为在 CenterFusion/src/lib/logger.py 文件中第 52 行

self.log = open(log_dir + '/log.txt', 'w')

这是是以写的方式打开，每次写的时候都会覆盖原来文件中的内容，应该以追加的方式打开，应该将参数 ‘w’ 改为 ‘a’ 即可

5.4 错误4

RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED

如果严格按照我的这个步骤配置，应该是不会出错的。
但是如果出现这个错误，那么就是你的 cuda、cudnn、pytorch 这几个版本不匹配导致的。
怎么解决呢？首先查看系统的 cuda、cudnn 版本，具体的命令就自己查吧，然后根据系统的 cuda、cudnn 版本，选择对应的 pytorch 版本

6. 算法测试训练

6.1 算法训练

不过在训练之前需要修改 train.sh 中的参数
（1）设置训练集 train_split 的值，可选 train、mini_train 这两个数据集
（2）设置测试集 val_split 的值，可选 val、mini_val、test 这三个数据集
（3）我训练时报错，发现 4GB 的显存不够用，gtx16504GB显卡把 batch_size 改为了 1，RTXA20008GB显卡把 batch_size 改为了 6，刚好跑满 现在显存7762MiB / 8192MiB大于 24 GB 的显卡可以不用改，改成1后训练基本没用，不收敛
（4）由于电脑配置有点low，只配置了一个 gpu，所以参数由 gpu 0,1 改为 gpu 0 ，用了两个 GPU 的话可以不用改
在这里插入图片描述

cd ~/CenterFusion
bash experiments/train.sh

在这里插入图片描述
在这里插入图片描述

6.2 算法测试

  • 修改如下参数：
    （1）设置验证集 val_split 的值，可选 val、mini_val、test
    （2）可视化（非必须）：添加参数 --debug 4 即可，选项help如下
    [图片]

修改test.sh，由于只有一个GPU，所以测试时需要修改配置
在这里插入图片描述

另外还需要修改load的model，将/CenterFusion/exp/ddd/centerfusion/中训练好的pth文件复制到model文件夹中，修改名字，并在test.sh中加载该模型，修改后如下

export CUDA_VISIBLE_DEVICES=0
cd src

## Perform detection and evaluation
python test.py ddd \
    --exp_id centerfusion \
    --dataset nuscenes \
    --val_split mini_val \
    --run_dataset_eval \
    --num_workers 4 \
    --nuscenes_att \
    --velocity \
    --gpus 0 \
    --pointcloud \
    --radar_sweeps 3 \
    --max_pc_dist 60.0 \
    --pc_z_offset -0.0 \
    --load_model ../models/z99_mini_train_1205.pth \
    --flip_test \
    --debug 4 \
    # --resume \

增加–debug 4后报错
可视化需要修改代码，将CenterFusion/src/lib/utils下的debugger.py做部分修改，github issue如下debug mode in test.sh gives error (-5:Bad argument) in function ‘line’ · Issue #42 · mrnabati/CenterFusion · GitHub

  • 这是加了参数 --debug 4 后执行 debug 会产生的错误
Traceback (most recent call last):
  File "test.py", line 215, in <module>
    prefetch_test(opt)
  File "test.py", line 125, in prefetch_test
    ret = detector.run(pre_processed_images)
  File "/root/CenterFusion/src/lib/detector.py", line 151, in run
    self.show_results(self.debugger, image, results)
  File "/root/CenterFusion/src/lib/detector.py", line 429, in show_results
    img_id='bird_pred', cnt=self.cnt)
  File "/root/CenterFusion/src/lib/utils/debugger.py", line 426, in add_bird_view
    lineType=cv2.LINE_AA)
cv2.error: OpenCV(4.5.5) :-1: error: (-5:Bad argument) in function 'line'
> Overload resolution failed:
>  - Can't parse 'pt1'. Sequence item with index 0 has a wrong type
>  - Can't parse 'pt1'. Sequence item with index 0 has a wrong type
  • 看错误提示，修改 CenterFusion/src/lib/utils/debugger.py 第 424 行，如下，对四个 rect 值进行强转，具体如下
      cv2.line(bird_view, (int(rect[e[0]][0]), int(rect[e[0]][1])),
              (int(rect[e[1]][0]), int(rect[e[1]][1])), lc, t,
              lineType=cv2.LINE_AA)

然后就可以测试了

cd ~/CenterFusion
bash experiments/test.sh

在这里插入图片描述

生成的可视化检测结果位于/CenterFusion/exp/ddd/centerfusion/debug
在这里插入图片描述

Bird view
在这里插入图片描述

Camera view
在这里插入图片描述

HIT_Vanni
关注
  • 8
    点赞
  • 踩
  • 40
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 59
    评论
专栏目录
CenterFusion数据集nuScence-COCO格式
06-27
CenterFusion数据集nuScence-COCO格式
ChatGPT 技术架构分析、语料体系及训练算法与模型
05-20
（3）关键基础是生成式预训练的转换器：以生成式的自监督学习为基础，从TB级训练数据中学习隐含的语言规律和模式，训练出千亿级别参数量的大规模语言模型；（4）核心技术是InstructGPT：采用基于人类反馈的强化学习...
CenterFusion论文阅读以及代码复现
Tracy_Baker的博客
01-10 1284
《CenterFusion: Center based Radar and Camera Fusion for 3D Object Detection》 一、论文概述 二、网络结构 三、论文中的实验结果 四、代码复现 【官方代码】https://github.com/mrnabati/CenterFusion 根据官方提供的步骤就能实现复现，没有出现太大的问题 ，按照流程来就行了。 1、环境搭建 Ubuntu 18.04 + CUDA10.0 + pytorch 1.4.0 根据官方提供的步骤安装依赖库：
CenterFusion++：基于centerfusion改进的下一代毫米波雷达与视觉融合方案
AI训练师中的点滴
02-06 1466
CenterFusion++
【CenterFusion】CenterFusion网络架构概述
最新发布
HIT_Vanni的博客
03-15 1609
CenterFusion 网络架构首先利用全卷积骨干网提取目标物体中心点的图像特征，再回归到物体的其它属性，如三维位置、方向和尺寸，并获得初步的 3D Box截锥关联模块将雷达检测结果与对应目标中心点关联（雷达检测结果映射到图像平面）并生成雷达特征然后将图像和雷达特征连接起来， 再二次回归到目标属性，如深度、旋转以及速度等三维属性来细化初步的 3D Box该网络架构主要可以分为两个部分分析，一个是上面一行的图像目标检测，另一个是下面一行的雷达点云数据处理。
多传感器融合 | CenterFusion：毫米波雷达和相机后融合3D检测算法
CV_Autobot的博客
01-11 2832
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取今天自动驾驶之心很荣幸邀请到寒风分享RV后融合算法CenterFusion，如果您有相关工作需要分享，请在文末联系我们！>>点击进入→自动驾驶之心【多传感器融合】技术交流群后台回复【多传感器融合综述】获取图像/激光雷达/毫米波雷达融合综述等干货资料！前言 本文主要介绍一种基于毫米波雷达和相机后融合的3D目标检测算法——C...
CenterFusion算法环境配置与demo运行 CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection
HIT_Vanni的博客
11-25 8022
CenterFusion算法环境配置与demo运行1.论文简介2.环境配置 1.论文简介 论文链接：https://arxiv.org/pdf/2011.04841v1.pdf 项目链接：https://github.com/mrnabati/CenterFusion 该文作者信息： 作者来自田纳西大学诺克斯维尔分校。 激光雷达使用发射的激光测距进行环境感知，而雷达使用无线电发射进行探测。 3D目标检测在自动驾驶领域应用广泛，而激光雷达（Lidar）和摄像头数据的融合常用来进行高精度的3D目标检测，但其仍
CenterFusion：雷达和摄像头融合的3D目标检测方法，代码已开源！
阿木寺的博客
01-24 2066
点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达本文作者：黄浴| 来源：知乎（已授权）https://zhuanlan.zhihu.com/p/3458...
多传感器融合目标检测系列：CenterFusion(基于CenterNet)源码深度解读: ：DLA34 (四)
热门推荐
AI训练师中的点滴
03-05 1万+
CenterNet与Centerfusion结构解析
3D目标检测之CenterFusion简要汇总
weixin_45929012的博客
04-09 676
对，就是下面这篇文章 提出问题：LiDARS在近处较为准确但是在远距测量上得到的点云比较稀疏，且对天气条件较为敏感，不利用temporal information时对速度的测量不够time-critical，但是radar信息更稀疏不适用于提取物体几何信息，集合多个radar进行扫描会得到更稠密的信息，但会导致系统延迟。其中有提到Early fusion的方法对数据时空信息比较敏感，late fusion在决策层进行combine，但是没有利用joint intermediate feature所以作者选
不能链接摄像头_CenterFusion：融合雷达与摄像头数据的高精度3D目标检测
weixin_42592399的博客
01-06 212
介绍一篇新出的论文 CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection ，旨在使用低成本的雷达（redar）替换自动驾驶中的激光雷达，并达到高精度3D目标检测的方法。该文作者信息：作者来自田纳西大学诺克斯维尔分校。激光雷达使用发射的激光测距进行环境感知，而雷达使用无线电发射进行探测。3D目标检测在自动...
算法训练-第一天-瞎谈
u012679087的专栏
10-06 139
一轮秋招快结束了，看着学长们为找工作日夜奋斗，突然有种紧迫感，自己也该准备了。咨询了大佬学长，看了很多面经之后决定该动手了。目标，明年春招大厂算法岗实习。        再次接触算法，前几天去codeforce刷了两场div2难度比赛，最多做完第三个题，太水了，都不敢说话。感觉那上面主要还是偏向于思维训练，很多策略题，我这种各种算法都不懂得还是先去补补基础。然后取lintcode上面看了一下，这...
Linux 内核服务器中搭建训练深度学习算法模型环境
09-17
无论在企业还是科研实验室，都需要借用服务器环境（由于服务器在单位内网，此处应用 内网穿透工具）进行算法模型的训练，此处总结了如何在以 linux 为内核的服务器下搭建训练深度学习算法模型环境及相关的步骤操作。
模型算法大全（20+种常用算法模型+代码实现）
04-24
模型算法大全（20+种常用算法模型+代码实现）模型算法大全（20+种常用算法模型+代码实现）模型算法大全（20+种常用算法模型+代码实现）模型算法大全（20+种常用算法模型+代码实现）模型算法大全（20+种常用算法模型+...
基于改进粒子群算法的隐马尔可夫模型训练.pdf
09-29
基于改进粒子群算法的隐马尔可夫模型训练 在本文中，我们将介绍基于改进粒子群算法的隐马尔可夫模型训练方法。粒子群优化算法是一种基于种群搜索的自适应进化讨论技术，具有算法实现简单、需要调整的参数少、有较强...
融合预训练语言模型的成语完形填空算法.pdf
09-11
融合预训练语言模型的成语完形填空算法 在自然语言处理领域中，选择恰当的成语是非常重要的一步骤。但是，现有的研究将成语完型填空任务看成是文本匹配问题，虽然预训练语言模型能够在文本匹配研究上取得较高的准确...
CenterFusion训练过程中数据处理
gui_hai的博客
02-21 1237
CentereFusion数据处理(generic_dataset.py)
详解CenterFusion损失函数初始化及前向传播过程
HIT_Vanni的博客
06-02 525
损失函数类GenericLoss()的定义在CenterFusion/src/lib/trainer.py23行，其中调用了Module父类的构造函数，位置在anaconda3/envs/pytorch17/lib/python3.7/site-packages/torch/nn/modules/module.py的223行。
ubuntu配置cuda环境一：安装NVIDIA驱动
qq_40641338的博客
12-02 649
ubuntu安装nvidia驱动
Python算法开发如何进行模型训练
04-19
Python算法开发进行模型训练的过程大致如下： 1. 收集、处理数据：首先需要准备训练所需的数据集，并进行数据清洗、处理等操作，确保数据的高质量。 2. 设计模型：根据需要解决的问题，选择适合的模型架构，如神经网络模型、决策树模型等等。 3. 划分数据集：将数据集划分为训练集和测试集，用于验证模型的准确性和泛化能力。 4. 模型训练：使用训练集对模型进行训练，并不断调整模型参数，直至模型达到较高的准确度和泛化性能。 5. 模型评估：使用测试集对模型进行评估，计算模型的精确度、召回率、F1值等指标，确保模型的可靠性。 6. 模型优化：如果模型表现不佳，需要调整模型架构、参数等，并重新进行训练与评估，直至达到满意的结果。 7. 模型应用：最后根据实际需求将训练好的模型应用到相应的领域，解决实际问题。 以上是Python算法开发进行模型训练的步骤，具体的实现方法还需要根据具体的问题和数据集进行结合。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 59
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HIT_Vanni

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值