C++调用mask rcnn进行实时检测--opencv4.0

最新推荐文章于 2024-09-17 11:11:05 发布

Tom Hardy

最新推荐文章于 2024-09-17 11:11:05 发布

阅读量1.2w

点赞数 8

分类专栏：深度学习

本文链接：https://blog.csdn.net/qq_29462849/article/details/85272575

版权

本文介绍了如何在C++中利用OpenCV4.0调用预先训练的Mask R-CNN模型进行实时物体检测。通过加载mask_rcnn_inception_v2_coco_2018_01_28的模型文件，实现了从USB摄像头获取图像并进行检测。然而，实验结果显示检测速度较慢，I7-8700k配GTX1060的环境下，每帧检测耗时约1秒，无法满足实时需求。完整数据集可在作者提供的链接中下载，同时邀请读者加入3D视觉工坊进行深入交流。

摘要由CSDN通过智能技术生成

介绍

Opencv在前面的几个版本中已经支持caffe、tensorflow、pytorch训练的几种模型，包括分类和物体检测模型（SSD、Yolo），针对tensorflow，opencv与tensorflow object detection api对接，可以通过该api训练模型，然后通过opencv调用，这样就可以把python下的环境移植到C++中。

关于tensorflow object detection api，后面博文会详细介绍

数据准备与环境配置

基于mask_rcnn_inception_v2_coco_2018_01_28的frozen_inference_graph.pb，这个模型在tensorflow object detection api中可以找到，然后需要对应的mask_rcnn_inception_v2_coco_2018_01_28.pbtxt，以及colors.txt，mscoco_labels.names。

opencv必须是刚发布的4.0版本，该版本支持mask rcnn和faster rcnn，低版本不支持哦，注意opencv4.0中在配置环境时，include下少了一个opencv文件夹，只有opencv2，这是正常的。

好了，废话不多说了，直接上源代码，该代码调用usb摄像头进行实时检测，基于单幅图像的检测修改下代码即可。


#include <fstream>
#include <sstream>
#include <iostream>
#include <string.h>

#include <opencv2/dnn.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>


using namespace cv;
using namespace dnn;
using namespace std;

// Initialize the parameters
float confThreshold = 0.5; // Confidence threshold
float maskThreshold = 0.3; // Mask threshold

vector<string> classes;
vector<Scalar> colors;

// Draw the predicted bounding box
void drawBox(Mat& frame, int classId, float conf, Rect box, Mat& objectMask);

// Postprocess the neural network's output for each frame
void postprocess(Mat& frame, const vector<Mat>& outs);

int main()
{
	// Load names of classes
	string classesFile = "./mask_rcnn_inception_v2_coco_2018_01_28/mscoco_labels.names";
	ifstream ifs(classesFile.c_str(