KM3D/RTM3D代码复现

unbekannten

已于 2022-12-31 11:31:16 修改

阅读量2.4k

点赞数 1

文章标签：深度学习人工智能

于 2022-06-30 22:50:39 首次发布

本文链接：https://blog.csdn.net/unbekannten/article/details/125548870

版权

本文详细介绍了如何在Ubuntu 18.04环境下配置Python 3.6，安装PyTorch 1.7及相关库，包括DCNv2和iou3d模块的编译，以及解决遇到的问题。重点讲述了如何下载预训练模型并在Kitti数据集上进行测试，提供了解决关键错误的代码片段。

摘要由CSDN通过智能技术生成

论文：https://arxiv.org/pdf/2001.03343.pdf
官方代码：https://github.com/Banconxuan/RTM3D

一.前期环境安装
1.环境配置
参考readme/INSTALL.MD
官方给出的：ubuntu16.04+python3.6+pytorch1.0.0
我配置的环境：（Xavier设备下）ubuntu18.04+python3.6+pytorch1.7+torchvision0.8.0+cuda10.2
（注：官方使用虚拟环境搭建，但由于种种踩坑没有采用该方法；版本号根据自己的设备来，当pytorch>=1.8时，最新的ninja1.10.2.3不兼容，不推荐；当pytorch=1.6时，tensor和int之间的除法不能直接用"/"，用torch.true_divide()代替，对应的torchvision版本为0.7；当pytorch=1.5时会出现核心段错误，不推荐。综上，还是按照我的版本来，这都是我踩过的坑啊）
版本下载：https://download.csdn.net/download/unbekannten/85840784
采用离线下载

 pip3 install torch-1.7.0-cp36-cp36m-linux_aarch64.whl

解压vision-0.8.0.zip，并进入该文件夹下

sudo python3 setup.py install

安装完成后，检验是否成功，是否可用
请添加图片描述
2.安装依赖包
参考readme/INSTALL.md

pip3 install -r requirements.txt

3.编译DCNv2
（注：源代码由于版本太旧和torch版本不兼容等种种原因，会报错误，若上述环境与我相同，可直接用下述方法）
原来的DCNv2不适用，需重新下载并将文件夹下的内容进行替换，适用DCNv2下载地址：https://download.csdn.net/download/unbekannten/85840849
将/DCNv2/DCN中的dcn_v2.py拷贝到/DCNv2下

cd $KM3D_ROOT/src/lib/models/networks/DCNv2
sudo python3 setup.py build develop

其成功执行生成如下相应文件夹
请添加图片描述
终端成功显示效果如下

4.编译iou3d
进入src\lib\utils\iou3d\src，编辑iou3d.cpp
在所有#include<>后面添加3行代码即可：

#ifndef AT_CHECK
#define AT_CHECK TORCH_CHECK 
#endif

其整体如下
请添加图片描述

 cd $KM3D_ROOT/src/lib/utiles/iou3d
sudo python3 setup.py install

终端成功显示效果如下
请添加图片描述
二.测试
参考readme/DEMO.md
下载预训练模型ResNet-18train.pth
(https://pan.baidu.com/s/1zt-O6UzcBVGF-6vg5LzGpA) 提取码：60ks)
并将其放在./demo_kitti_format/exp/KM3D/
终端运行

python3 ./src/demo.py --vis --demo ./demo_kitti_format/data/kitti/image --calib_dir ./demo_kitti_format/data/kitti/calib/ --load_model ./demo_kitti_format/exp/KM3D/ResNet-18train.pth --gpus 0 --arch res_18

请添加图片描述
效果图如下

结果文件保存在./exp/results/data/下

注：可能会报错
1）
在这里插入图片描述
/src/lib/utils/ddd_utils.py中的draw_bos_3d()函数中cv2.line()函数的参数修改成int()类型即可，即

def draw_box_3d(image, corners, c=(0, 0, 255)):
  face_idx = [[0,1,5,4],
              [1,2,6, 5],
              [2,3,7,6],
              [3,0,4,7]]
  for ind_f in range(3, -1, -1):
    f = face_idx[ind_f]
    for j in range(4):
      cv2.line(image, (int(corners[f[j], 0]), int(corners[f[j], 1])),
               (int(corners[f[(j+1)%4], 0]), int(corners[f[(j+1)%4], 1])), c, 2, lineType=cv2.LINE_AA)
    if ind_f == 0:
      cv2.line(image, (int(corners[f[0], 0]), int(corners[f[0], 1])),
               (int(corners[f[2], 0]), int(corners[f[2], 1])), c, 1, lineType=cv2.LINE_AA)
      cv2.line(image, (int(corners[f[1], 0]), int(corners[f[1], 1])),
               (int(corners[f[3], 0]), int(corners[f[3], 1])), c, 1, lineType=cv2.LINE_AA)
  return image

2）在训练时可能会报错：在这里插入图片描述
用torchvision中的DCN模块进行替换即可，from .DCNv2.dcn_v2 import DCN
替换为from torchvision.ops import DeformConv2d as DCN
3)若直接训练会报错，没有annotations/kitti_val.json文件

annotations文件夹要自己新建，然后里面的kitti_val.json和kitti_train.json需要运行代码生成，运行
指令

python src/tools/kitti.py

4）在可视化时，若用其它数据集，可能会报错
在这里插入图片描述
在read_calib()函数中，将str类型改为float类型

def read_calib(self, calib_path):
   f = open(calib_path, 'r')
   for i, line in enumerate(f):
       if i == 0:
          line = line.split(' ')[1:]
          line = list(map(float, line))
          calib=np.array(line, dtype=np.float32)
          calib=calib.reshape(3, 4)
          return calib