中mask设置_OpenCV4中如何使用Mask RCNN网络

最新推荐文章于 2022-07-11 14:13:59 发布

伦敦交易员

最新推荐文章于 2022-07-11 14:13:59 发布

阅读量212

点赞数

文章标签：中mask设置

本文链接：https://blog.csdn.net/weixin_29577885/article/details/112613479

版权

点击上方↑↑↑“OpenCV学堂”关注我

详解mask-rcnn网络模型在OpenCV DNN调用的技术细节

Mask-RCNN架构

Mask-RCNN可以看成是在Faster-RCNN的基础上多出一个分支实现的实例分割网络二值化mask层输出，而且这个分支mask分割网络是全卷积网络，结构显示如下：

在分离出mask全卷积分支网络的时候有两种分支网络卷积架构可以使用，显示如下：

头部分别是ResNet C4与FPN作为基础网络部分。

模型输入与输出参数

Tensorflow的对象检测框架中提供了Mask-RCNN网络基于COCO的预训练模型，支持对其的迁移学习与自定义数据的对象实例分割。下载模型地址如下：

http://download.tensorflow.org/models/object_detection/mask_rcnn_inception_v2_coco_2018_01_28.tar.gz

生成OpenCV DNN模型可使用的描述文件，只有生成了描述文件之后才可以在OpenCV4 DNN模块中导入mask-rcnn模型，描述文件生成详细步骤与说明参见之前的文章：

干货 | tensorflow模型导出与OpenCV DNN中使用

模型的输入参数与格式(转换为blob输入数据时候的参数)

size：800x800
mean：0,0,0
scale: 1.0
rgb: true

模型的输出层与格式解析

detection_out_final = [1, 1, N, 7]其中7列分别为：
image_id 图像批次Id
label类别id
conf类别score
(x_min, y_min)左上角坐标信息
(x_max, y_max)右下角坐标信息
detection_masks = [100,C,15,15]
详解时候100跟N对应，C跟label对应表示类别信息
15x15表示mask的大小，
得分大于0.5表示对象像素
小于0.5表示非对象像素

模型调用

OpenCV4 DNN模型支持tensorflow对象检测框架模型的加载与推理使用，可以实现自定义的对象检测与实例分割模型迁移学习训练，导出模型的调用支持。

预训练COCO数据模型使用：

ROI区域的mask结果如下：

使用自定义数据，实现指针检测与实例分割得到的效果如下：

演示代码详细步骤如下：

加载模型

// 加载模型
Net net = readNetFromTensorflow(pb_model, pb_txt);
net.setPreferableBackend(DNN_BACKEND_OPENCV);
net.setPreferableTarget(DNN_TARGET_CPU);

获取输入数据

// 设置数据
Mat blobImage = blobFromImage(frame, 1.0, Size(800, 800), Scalar(0, 0, 0), true, false);
printf("blobImage width : %d, height: %d\n", blobImage.size[3], blobImage.size[2]);
net.setInput(blobImage);

执行推理

// 推理
vector out_names;
out_names.push_back("detection_out_final");
out_names.push_back("detection_masks");vector outs;
net.forward(outs, out_names);
Mat detection = outs[0];int id = outs[1].size[0];int numClasses = outs[1].size[1];int mh = outs[1].size[2];int mw = outs[1].size[3];
Mat masks = outs[1]; // Nx90x15x15printf("id: %d, numClasses:%d, m:%d, s:%d \n", id, numClasses, mh, mw);

解析输出

// 解析对象检测输出
Mat detectionMat(detection.size[2], detection.size[3], CV_32F, detection.ptr<float>());
float confidence_threshold = 0.6;
for (int i = 0; i     float confidence = detectionMat.at<float>(i, 2);
    if (confidence > confidence_threshold) {
        size_t objIndex = (size_t)(detectionMat.at<float>(i, 1));
        float tl_x = detectionMat.at<float>(i, 3) * frame.cols;
        float tl_y = detectionMat.at<float>(i, 4) * frame.rows;
        float br_x = detectionMat.at<float>(i, 5) * frame.cols;
        float br_y = detectionMat.at<float>(i, 6) * frame.rows;

        Rect object_box((int)tl_x, (int)tl_y, (int)(br_x - tl_x), (int)(br_y - tl_y));
        rectangle(frame, object_box, Scalar(255, 0, 255), 1, 8, 0);
        putText(frame, format(" confidence %.2f", confidence), Point(tl_x - 10, tl_y - 5), FONT_HERSHEY_SIMPLEX, 0.7, Scalar(255, 0, 0), 2, 8);

        // 解析mask
        Mat mask(masks.size[2], masks.size[3], CV_32F, masks.ptr<float>(i, objIndex));
        Mat color_mask = Mat::zeros(mask.size(), CV_8UC3);
        Mat bin_mask = Mat::zeros(mask.size(), CV_8UC1);
        for (int row = 0; row             for (int col = 0; col                 float m = mask.at<float>(row, col);
                if (m >= 0.5) {
                    color_mask.at(row, col) = Vec3b(0, 0, 255);
                    bin_mask.at(row, col) = 255;
                }
            }
        }
        Mat roi = frame(object_box);
        resize(color_mask, color_mask, roi.size());
        resize(bin_mask, bin_mask, roi.size());
        Mat result;
        bitwise_and(roi, roi, result, bin_mask);
        imshow("mask", result);
        addWeighted(roi, 0.5, color_mask, 0.5, 0, roi);
    }
}
imshow("mask-rcnn-demo", frame);