利用 MMDetection 处理视频

---

前言

在参加 OpenMMLab AI 实战营中，有个作业要求利用 MMDetection （目标检测工具包）训练模型，然后利用这个模型对一段小视频进行处理 （保留 mask 部分的彩色， 背景部分取灰）。文章的素材当然也来自实战营啦。这里主要讲一下处理视频的过程，训练模型的过程略过。

---

一、模型引入

from mmdet.apis import init_detector
model = init_detector(config="../work_dir/balloon.py", checkpoint="../work_dir/latest.pth")

这里 config 为训练模型的配置文件，checkpoint 为训练完保存的模型文件

---

二、查看图片

要利用 MMDetection 处理视频，就要先知道如何查看模型处理完之后的图片

from mmdet.apis import inference_detector, show_result_pyplot
img_path = "../data/balloon/val/3825919971_93fb1ec581_b.jpg"
result = inference_detector(model, img_path)
show_result_pyplot(model, img_path, result, score_thr=0.85)

结果如下：

---

三、视频每帧

我们处理视频，很容易可以想到讲视频拆穿一帧一帧处理，一帧就是一张图片，这里利用 mmcv 对视频进行处理

import mmcv
v = mmcv.VideoReader("test_video.mp4")
v.cvt2frames("frame_dir/in")

在处理后我们可以得到 150 张图片

---

四、处理每帧

0、理解 inference_detector

inference_detector 函数传入一个 model 既训练的模型，和一张或几张图片，重点在于 returns ，返回在这说的不是很清楚，单个返回的是 bbox， segm， 即边框和分割信息

result = inference_detector(model, img)
bbox, segm = result
bbox = np.array(bbox[0]) # bbox 为列表
print(bbox.shape) # (23, 5)
segm = np.array(segm[0])
print(segm.shape) # (23, 1024, 683)

这里的 23 代表检测到 23 个目标
bbox 中含有的信息为 （x, y, w, h, n）即距离左上角的宽度和长度、框的长度和宽度、概率
segm 中 （1024， 683）为图片宽度和高度，值为 Bool, true 则为 mask， false 则为背景
另外，可以看到这里引入了 numpy，一方面是为了处理方便，一方面是为了加快速度

1、处理图片

score_thr = 0.85
balloon_cnt = bbox[bbox[:, -1] > score_thr].shape[0]
data = mmcv.imread(img_path)  # -> ndarray
tmp = data.copy()
# Gray = (Red * 0.3 + Green * 0.59 + Blue * 0.11)
# 'bgr'
data[:, :, 0] = data[:, :, 2] * 0.3 + data[:, :, 1] * 0.59 + data[:, :, 0] * 0.11
data[:, :, 1] = data[:, :, 0]
data[:, :, 2] = data[:, :, 0]
for balloon in segm[:balloon_cnt]:
    data[balloon] = tmp[balloon]
mmcv.imwrite(data, "out.jpg")

这里首先判断了一下为目标（这里是 balloon 气球）大于 0.85 概率的数量，接着对整张图片进行灰度计算 (这里要注意 mmcv.imread() 返回的通道为 bgr )，最后将含有目标的部分用原来的数值替代,最后利用mmcv 保存图片
结果如下：

---

五、拼接图片

上面我们将视频拆成图片，最后我们当然要将图片拼接成视频啦

mmcv.frames2video(frame_dir="frame_dir/out", video_file="video_out.mp4")

利用 mmcv 一行代码搞定

---

最后

最后看看结果吧