mmdetection之HybridTaskCascade训练自己的数据

前言

mmdetection是商汤科技开源的open-mmlab之一，在mmdetection中提供了非常多的网络架构，除了YOLO，而我所使用的是HTC——HybridTaskCascade，其准确率相较于mask rcnn有较大的提高。现在我们来看看如何跑自己的HTC。

开始

1.安装open-mmlab环境，

具体安装过程请移步其他博主的博客或者知乎，我安装的时候参考的知乎，非常详细，强调一点，在安装对应版本的pytorch的时候记得打开官方页面查看对应的命令。参考测试指令，确定可以运行demo。

2.准备数据集。参考本人的博客。

labelme格式转换coco2017格式数据（for HTC）
将数据集按照以下格式放在mmdetection目录下：

先忽略annotations下面的class_two_json_label_num_4和coco_class.py，这是我自己因为数据集问题改了一些内容。

3.选择框架。

在mmdetection/configs/htc目录下，选取自己想要的框架，可见其中有一个without sem（不使用语义分割）版本，这个版本的框架不需要上一篇博客提到的stuffthingmap。而其他的版本则是含有语义分割版本的，需要stuff文件。这点要注意。如图：

（其中绿色的是我自己添加的，因为我不需要语义分割，而给出的不需要语义分割的版本其backbone为resnet50，所以我更改了部分模型，整了一个without sem而backbone为resnet101的版本）

4.使用中需要改的参数

1>model setting中的num_class改成自己数据集的class数目（此处含有background）
2>打开mmdet/datasets/init.py，更改如图

在最后加上MyDataset。
打开mmdet/datasets/my_dataset.py
在classes中的内容改成自己的训练集的label，并且使其顺序与annotations.json中id对应，此处的classes不要加background这一项
3>回到configs对应的文件（我的htc配置）中，找到代码dataset settings，
from

dataset_type = ‘CocoDataset’

to

dataset_type = ‘MyDataset’

官方说明了，可以使用这样的方式，且支持coco类的接口。
如果你的训练完成后发现自己的mask标的很准确，但是label却根本没见过，很有可能是2、3步没有完成，请自行检查
4>configs文件下面的训练集路径自行修改
5>如果使用一块GPU训练记得修改学习率，亲身经历了梯度爆炸，把lr从0.02改成0.01就还不错。
6>第239行取消注释　就会保存tfbroad文件
7>在你第一次运行的时候他会自己去下载一些必要的模型参数，如果connect失败，多试几次就好了。
8>checkpoints中用来存放自己从model zoo中下载的权重模型，可以拿来inference
如果还有其他的问题可以去看看github issue中的内容，里面的管理员太负责了！！你会惊讶的发现，一共383个问题，HTC相关的不少。

补充

由于我使用的是labelme，我的训练集中一张图片有多个同类的物体，也就是标注中存在mouse1、mouse2，而我需要把mouse归为一类。所以我直接在annotations.json文件中修改了每张图片的id，所有class的id是从0开始的。并且把json文件最后的内容也进行了修改。如果你也存在这个问题，别忘了返回头去看看步骤4。
如果遇到了内存溢出，把img_per_gpu改成1吧，还有可能是图片尺寸过大导致了内存溢出。
如果你遇到了c10：error（悔恨没有截图）大概是这样的报错，那很有可能是你的class_num设置错误，和自己的数据集或者数据集格式冲突，我就遇到了这个问题。

开始训练

如果这些你都准备完了，那你可以准备开始训练了，打开终端，输入

python tools/train.py configs文件 --work_dir workfile文件

比如我这里

python tools/train.py configs/htc/htc_without_semantic_x101_64x4d_fpn_20e_16gpu.py --work_dir workfile

具体还有其他的可选参数，关注train.py中arg操作吧
到这一步，如果运气好的话，就开始训练了

inference

```python
from mmdet.apis import init_detector, inference_detector, show_result
import mmcv

config_file = '/home/ubuntu/mmdetection/configs/htc/htc_without_semantic_x101_64x4d_fpn_20e_16gpu.py'
checkpoint_file = '/home/ubuntu/mmdetection/workfile/epoch_20.pth'

# build the model from a config file and a checkpoint file
model = init_detector(config_file, checkpoint_file, device='cuda:0')

# test a single image and show the results
img = '394.jpg'  # or img = mmcv.imread(img), which will only load it once
result = inference_detector(model, img)
# visualize the results in a new window
show_result(img, result, model.CLASSES)
# or save the visualization results to image files
show_result(img, result, model.CLASSES, out_file='result.jpg')

希望小伙伴们的模型跑起来了~