MMDetection使用及相关问题

一、项目

1.环境配置
参考文献：
安装mmdetection并测试demo
mmdetection安装&训练VOC格式数据
mmdetection训练pascal_voc格式的数据集
Mmdetection的安装和使用
mmdetection 商汤开源库 FasterRCNN 训练自己的数据集 VOC2007, 結果可視化 2019
mmdetection使用方法（使用mmdetection搭建faster-RCNN模型）

二、使用：

1.激活环境：

conda activate open-mmlab

2.测试demo

2.1 测试图片

python demo/image_demo.py  demo/demo.jpg  configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth

2.2 测试视频

python demo/test_vedio.py configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py  checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth  --file demo/demo.mp4 --out demo/res.mp4

3.训练自己的数据：

将标注数据转化为voc或coco格式

#从开始训练模型
python tools/train.py configs/pascal_voc/faster_rcnn_r50_fpn_1x_voc0712.py

python tools/train.py configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py

#当训练中断，可从断点权重文件处继续训练
 python tools/train.py configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py  --resume-from="work_dirs/faster_rcnn_r50_fpn_1x_coco/epoch_11.pth"

4.测试

4.1 image_demo测试一张图片

python demo/image_demo.py demo/demo_img/1.jpg configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py work_dirs/faster_rcnn_r50_fpn_1x_coco/epoch_12.pth

4.2 使用test.py

python tools/test.py  configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py   work_dirs/faster_rcnn_r50_fpn_1x_coco0707/latest.pth  --out demo/res0803/result_1.pkl --eval bbox

三、遇到问题

1.服务器缓存

出现报错
*** Error in `python’: corrupted size vs. prev_size: 0x00007fc860655850 *** 等

代码

sudo sh -c "echo 3 > /proc/sys/vm/drop_caches"

查看缓存情况

free

2.core dumped

解决：改变import顺序

3.缺少test.text文件

在下载的数据集中，确实不存在test.txt文件 。

查看原程序tests/data/VOCdevkit/VOC2007/ImageSets/Main中内容，是存在test.txt文件的。原因是下载数据集不全，只下载了trainval部分，没有下载test部分

4.error: unrecognized arguments

train.py: error: unrecognized arguments: --resume_from=work_dirs/faster_rcnn_r50_fpn_1x_coco/epoch_11.pth

参数名字写错
应–resume-from

5.Segmentation fault

解决：导入包顺序调整，将import torch放在前面即可。

6.[Errno 28] No space left on device

原因是使用的磁盘或者文件夹下没有剩余空间
解决方案：
查看磁盘空间，我的问题是/home下使用率为100%，解决方案比较简单粗暴，删除了部分没有用的文件，释放部分空间。

df -h

更多操作可参考：
提示"No space left on device"错误的解决方法
No space left on device 解决Linux系统磁盘空间满的办法

7.cv2.error: Caught error in DataLoader worker process 0.

原因是训练的图片数据集有两张图上传失败，重新上传这两张图

8.ImportError: No module named _internal’

Traceback (most recent call last):
File “/usr/local/bin/pip”, line 6, in
from pip._internal import main
ImportError: No module named _internal’

查看了许多解决方案都没解决，后来：

python -m pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu101/torch1.6.0/index.html

在pip前面加上 python -m 就可以了

9.ImportError: dlopen: cannot load any more object with static TLS

根据报错，应该是在 .cv2的原因， opencv-python的版本号不匹配，卸载了opencv-python，重新安装了更低版本的opencv-python

10.修改base.py

路径：mmdet/models/detectors/base.py

 def show_result(self,
                    img,
                    result,
                    score_thr=0.3,
                    bbox_color=(72, 101, 241),
                    text_color=(72, 101, 241),
                    mask_color=None,
                    thickness=2,
                    font_size=13,
                    win_name='',
                    show=False,
                    wait_time=0,
                   # out_file=None,
                    out_file='out.jpg'):

#原來
        # if not (show or out_file):
        #     return img
        if show or out_file:
            return img

11. 运行image_demo.py 一直报错 Segmentation fault (core dumped)

这个问题困扰我很久很久，刚开始以为导入包的顺序问题，但是没有解决，最终修改image_demo 代码：添加导入cv2 和torch包，虽然没有用到，但是导入这两个包就可以了。

from argparse import ArgumentParser
import cv2
import torch
from mmdet.apis import inference_detector, init_detector,show_result_pyplot

12.src/tcmalloc.cc:277] Attempt to free invalid pointer 0x15

解决方案：
运行

export LD_PRELOAD="/usr/lib64/libjemalloc.so"

参考：https://blog.csdn.net/weixin_37871174/article/details/108631603

13.训练自己的数据集只有一类时

当使用voc格式的数据集训练且类别只有一类时， mmdet/datasets/voc.py 中

class VOCDataset(XMLDataset):

    CLASSES = ('Taxi',)

后面要加‘，’,不然会报错。

14.RuntimeError: CUDA error: device-side assert triggered

在训练过程中出现此问题，刚开始没有问题 是可以正常训练的

(pid=3654) RuntimeError: cuDNN error: CUDNN_STATUS_MAPPING_ERROR
(pid=3654) /pytorch/aten/src/ATen/native/cuda/IndexKernel.cu:84: operator(): block: [0,0,0], thread: [0,0,0] Assertion `index >= -sizes[i] && index < sizes[i] && "index out of bounds"` failed.
(pid=3654) /pytorch/aten/src/ATen/native/cuda/IndexKernel.cu:84: operator(): block: [0,0,0], thread: [3,0,0] Assertion `index >= -sizes[i] && index < sizes[i] && "index out of bounds"` failed.
(pid=3654) /pytorch/aten/src/ATen/native/cuda/IndexKernel.cu:84: operator(): block: [0,0,0], thread: [96,0,0] Assertion `index >= -sizes[i] && index < sizes[i] && "index out of bounds"` failed.
(pid=3654) /pytorch/aten/src/ATen/native/cuda/IndexKernel.cu:84: operator(): block: [0,0,0], thread: [97,0,0] Assertion `index >= -sizes[i] && index < sizes[i] && "index out of bounds"` failed.
(pid=3654) /pytorch/aten/src/ATen/native/cuda/IndexKernel.cu:84: operator(): block: [0,0,0], thread: [98,0,0] Assertion `index >= -sizes[i] && index < sizes[i] && "index out of bounds"` failed.

进行了两处修改:
(1)报错的方法中传进来一个列表 此别表位于cpu上，其他部分位于gpu，将列表转换为tensor并在gpu上

index=torch.Tensor(index).cuda(cuda_id)

(2).数组索引越界导致的cudnn错误
查看输出发现在，在取index中数据时，提供的索引值有时会大于index的长度，因此报错 ，修改此部分代码。

参考：https://blog.csdn.net/qq_41866626/article/details/116737731

四、其他

1.关于数据集（自己的）：

mmdetection训练自己的数据集–CVAT标注文件导出coco格式及相关操作

2.可参考

voc数据集下载
下载地址：https://pjreddie.com/projects/pascal-voc-dataset-mirror/
参考链接：VOC2007、2012数据集音速下载及训练、验证、测试集划分使用说明(附代码)

数据集简介：Pascal voc2007数据集

首先产生pkl文件,pkl文件需要建立一个文件夹eval
python tools/test.py configs/pascal_voc/faster_rcnn_r50_fpn_1x_voc0712.py work_dirs/latest.pth --out=eval/result.pkl
计算mAP
python tools/voc_eval.py eval/result.pkl configs/pascal_voc/faster_rcnn_r50_fpn_1x_voc0712.py

conda list看一下安装的包，结果报错y
https://blog.csdn.net/weixin_42236288/article/details/100854878?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-0&spm=1001.2101.3001.4242