目标检测之二（传统算法和深度学习的源码学习）结合官网YOLO9000和opencv结合实现检测过程

最新推荐文章于 2023-05-15 23:02:54 发布
最新推荐文章于 2023-05-15 23:02:54 发布
阅读量214 收藏
点赞数
分类专栏： 计算机视觉
原文链接：https://blog.csdn.net/baolinq/article/details/78582309
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接： https://blog.csdn.net/baolinq/article/details/78582309

目标检测之二（传统算法和深度学习的源码学习）

本系列写一写关于目标检测的东西，包括传统算法和深度学习的方法都会涉及到，注重实验而不着重理论，理论相关的看论文去哈，主要依赖opencv。

  本文主要内容：简单分析下yolo9000的原理，然后使用opencv的dnn模块进行目标检测.

    接着上一篇提到的车辆检测（http://blog.csdn.net/baolinq/article/details/78579317），使用了Haar+Adaboost算法进行车辆检测，对于简单场景的检测效果还不错，但是对于稍微复杂点的场景或者由于光照等原因的影响，检测效果不尽人意，但是我们看到深度学习的检测方法，比如YOLO的检测效果仍然很好。

    YOLO9000秉承着“奥运理念”， Better, Faster, Stronger，翻译出来的意思就是检测精度更高，检测速度更快，性能更强（更鲁棒），主要原理和YOLO v1一样，YOLO9000增加了更多的深度学习的训练tricks和借鉴了其他算法的优点，


上图是YOLOv1论文（https://arxiv.org/abs/1506.02640）里面的截图，我们简单看一下它的原理：

(1) 给个一个输入图像，首先将图像划分成7 * 7的网格。

(2) 对于每个网格，每个网格预测2个boudingbox（每个box包含5个预测量）以及20个类别概率，总共输出7×7×（2*5+20）=1470个tensor

(3) 根据上一步可以预测出7 * 7 * 2 = 98个目标窗口，然后根据阈值去除可能性比较低的目标窗口，再由NMS去除冗余窗口即可。

YOLOv1使用了end-to-end的回归方法，没有regionproposal步骤，直接回归便完成了位置和类别的判定。种种原因使得YOLOv1在目标定位上不那么精准，直接导致YOLO的检测精度并不是很高。

YOLO9000用了这么多tricks，每一种提高一点点，组合起来就很强大了


    YOLO9000略有不同，YOLOv2最后输出的是S * S * （B * （5 + C））维，它直接使用每个boxes进行预测，而yolov1不是这样的，它是每个cell只负责一个object。其中参数S,B,C的取值也不同：

S=13，YOLOv2对输入图像（416*416，yolov1是448*448）进行了卷积和池化等，最终输出的特征图尺寸是13 * 13。

B=5,这是由Dimension Clusters得到的。Fast-RCNN中使用3种scales和3中aspectratios（1:1,1:2,2:1）在每个位置产生了9个anchor boxes。作者认为这种手动选取的anchor不够好，虽然网络最终可以学出来，但如果我们可以给出更好的anchor，那么网络肯定更加容易训练而且效果更好。作者使用kmeans算法进行训练，使用基于IOU的度量方式d(box,centroid)=1−IOU(box,centroid)代替一般场景下的欧氏距离。作者的实验表明这种做法比手动选取的效果更好

C=20，表示object的种类，如果是用voc数据集的话，C=20。如果是coco数据集，C=80。

 

详细的原理自己去网上搜一下有一大堆，不过还是建议看下原文（https://arxiv.org/abs/1612.08242），项目主页（https://pjreddie.com/darknet/yolo/）上面有关于YOLO的详细介绍以及很多训练好的model可以使用以及yolo的源代码，作者可以说是非常良心了，点个赞。

    直接先去github上面下载YOLO的源代码（https://github.com/pjreddie/darknet），代码写的非常nice，使用darknet网络结构，几乎不用环境就可以独立运行的，当然如果你要显示窗口的话，最好还是要有一个opencv，他也会自动把运行结果保存到当前目录，不过看起来不方便。根据自己的环境编译一下，使用命令行cmd窗口就可以运行了。输入图片路径即可进行检测。

运行截图：


电脑显卡很渣，暂时使用的是no gpu版本的。

运行结果：

 

按任意键关闭窗口，即可继续输入图片路径继续进行目标检测

 

这样测试很不方便，每次只能测试一张图像，我想测试序列图像或者测试视频该怎么办呢？有两种方法，一种修改源代码，改写输入文件的类型；第二种更简单使用opencv的dnn模块（Depth neural network）。详情见opencv官方文档https://docs.opencv.org/master/d6/d0f/group__dnn.html

我以第二种方法为例，我使用的是opencv3.3。Dnn模块是opencv新推出的用于深度学习的一个模块，目前支持Caffe、TensorFlow、Torch、PyTorch、darknet等深度学习框架。我觉得这个功能真的很赞，以后训练好的模型，移植就非常方便了，用来做一些日常测试也是很不错的。


dnn::Net net=readNetFromDarknet()就可以从参数中读取darknet网络参数以及训练好的模型权重。

先把输入图像归一化一下，然后输入图像到网络中，再进行前向传播，就OK了，是不是非常的easy啊。剩下的只是怎么显示和保存数据的问题了，处理结果已经保存到detectionMat里面去了。


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
           
     
     //! [Prepare blob]
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
            Mat inputBlob = blobFromImage(resized, 
     
     1 / 
     
     255.F); 
     
     //Convert Mat to batch of images
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
           
     
     //! [Prepare blob]
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
           
     
     //! [Set input blob]
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
            net.setInput(inputBlob, 
     
     "data");               
     
     //set the network input
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
           
     
     //! [Set input blob]
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
           
     
     //! [Make forward pass]
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
            cv::Mat detectionMat = net.forward(
     
     "detection_out");    
     
     //compute output
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
           
     
     //! [Make forward pass]

Talk is cheap，show me thecode。给出测试源码，其实也就是稍微改了一下opencv的samples。

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #include <opencv2/dnn.hpp>
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #include <opencv2/dnn/shape_utils.hpp>
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #include <opencv2/imgproc.hpp>
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #include <opencv2/imgcodecs.hpp>
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #include <opencv2/highgui.hpp>
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     using 
     
     namespace cv;
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     using 
     
     namespace cv::dnn;
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #include <fstream>
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #include <iostream>
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #include <algorithm>
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #include <cstdlib>
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     using 
     
     namespace 
     
     std;
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     const 
     
     size_t network_width = 
     
     416;
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     const 
     
     size_t network_height = 
     
     416;
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     const 
     
     char* about = 
     
     "This sample uses You only look once (YOLO)-Detector "
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     "(https://arxiv.org/abs/1612.08242)"
    
    
    
   
   
  20. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     "to detect objects on image\n"; 
     
     // TODO: link
    
    
    
   
   
  21. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  22. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     const 
     
     char* params
    
    
    
   
   
  23. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     = 
     
     "{ help           | false | print usage         }"
    
    
    
   
   
  24. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     "{ cfg            |    yolo-voc.cfg   | model configuration }"	
     
     //写入训练好的网络参数文件cfg格式
    
    
    
   
   
  25. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     "{ model          |   yolo-voc.weights    | model weights       }"
     
     //写入训练好的模型的权重文件
    
    
    
   
   
  26. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     "{ image          |       | image for detection }"				
     
     //测试的图片名，我没有使用
    
    
    
   
   
  27. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     "{ min_confidence | 0.24  | min confidence      }";		
     
     //信心度阈值，低于该阈值的不输出，判断为没有检测到
    
    
    
   
   
  28. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  29. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     vector<cv::Scalar> color = { Scalar(
     
     0,
     
     205,
     
     150),Scalar(
     
     255,
     
     0,
     
     0),Scalar(
     
     0,
     
     0,
     
     255),Scalar(
     
     200,
     
     150,
     
     0) };
    
    
    
   
   
  30. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     int main(int argc, char** argv)
    
    
    
   
   
  31. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     {
    
    
    
   
   
  32. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         cv::
     
     CommandLineParser parser(argc, argv, params);	
     
     //读入params参数文件
    
    
    
   
   
  33. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
    
    
    
   
   
  34. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     if (parser.get<
     
     bool>(
     
     "help"))
    
    
    
   
   
  35. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         {
    
    
    
   
   
  36. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     std::
     
     cout << about << 
     
     std::
     
     endl;
    
    
    
   
   
  37. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             parser.printMessage();
    
    
    
   
   
  38. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     return 
     
     0;
    
    
    
   
   
  39. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         }
    
    
    
   
   
  40. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
    
    
    
   
   
  41. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     //String modelConfiguration = "yolo.cfg"; // parser.get<string>("cfg");
    
    
    
   
   
  42. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     //String modelBinary = "yolo.weights"; //parser.get<string>("model");
    
    
    
   
   
  43. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	String modelConfiguration = parser.get<
     
     string>(
     
     "cfg");
    
    
    
   
   
  44. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	String modelBinary =parser.get<
     
     string>(
     
     "model");
    
    
    
   
   
  45. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  46. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     //! [Initialize network]
    
    
    
   
   
  47. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         dnn::Net net = readNetFromDarknet(modelConfiguration, modelBinary);
     
     //读取网络模型和参数，初始化
    
    
    
   
   
  48. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     //! [Initialize network]
    
    
    
   
   
  49. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
    
    
    
   
   
  50. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     if (net.empty())
    
    
    
   
   
  51. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         {
    
    
    
   
   
  52. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     cerr << 
     
     "Can't load network by using the following files: " << 
     
     endl;
    
    
    
   
   
  53. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     cerr << 
     
     "cfg-file:     " << modelConfiguration << 
     
     endl;
    
    
    
   
   
  54. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     cerr << 
     
     "weights-file: " << modelBinary << 
     
     endl;
    
    
    
   
   
  55. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     cerr << 
     
     "Models can be downloaded here:" << 
     
     endl;
    
    
    
   
   
  56. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     cerr << 
     
     "https://pjreddie.com/darknet/yolo/" << 
     
     endl;
    
    
    
   
   
  57. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     exit(
     
     -1);
    
    
    
   
   
  58. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         }
    
    
    
   
   
  59. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  60. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     //  String imgpath =parser.get<string>("image")
    
    
    
   
   
  61. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     //cv::Mat frame = cv::imread(imgpath);
    
    
    
   
   
  62. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  63. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     // 检测目标种类的名称在voc.txt，读入保存到tag_names向量中
    
    
    
   
   
  64. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     vector<
     
     string> tag_names;
    
    
    
   
   
  65. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         ifstream fin;
    
    
    
   
   
  66. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         fin.open(
     
     "voc.txt");
    
    
    
   
   
  67. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     string buf;
    
    
    
   
   
  68. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     while(fin && getline(fin, buf)) {
    
    
    
   
   
  69. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             tag_names.push_back(buf);
    
    
    
   
   
  70. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         }
    
    
    
   
   
  71. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	fin.close();
    
    
    
   
   
  72. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  73. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     //打开默认摄像头，用于检测摄像头的图像
    
    
    
   
   
  74. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     //VideoCapture cap(0);
    
    
    
   
   
  75. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     //if (!cap.isOpened())
    
    
    
   
   
  76. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     //	return -1;
    
    
    
   
   
  77. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  78. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     //图片的存放地址（相对路径），在当前目录的test_image文件夹里面
    
    
    
   
   
  79. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	String imgpath = 
     
     "test_image/";
    
    
    
   
   
  80. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     vector<cv::String> imgvec;
    
    
    
   
   
  81. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	cv::glob(imgpath, imgvec);
     
     //保存文件名到imgvec向量中，便于批量处理
    
    
    
   
   
  82. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	Mat frame;
    
    
    
   
   
  83. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     bool stop = 
     
     false;
    
    
    
   
   
  84. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     //while(!stop){
    
    
    
   
   
  85. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  86. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	int64 start = getTickCount();	
     
     //计算运行时间
    
    
    
   
   
  87. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     for (
     
     int imgnum = 
     
     0; (imgnum < imgvec.size())&&(!stop); ++imgnum) {
    
    
    
   
   
  88. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
    
    
    
   
   
  89. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //if (!cap.read(frame))
    
    
    
   
   
  90. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //	break;
    
    
    
   
   
  91. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		frame = imread(imgvec[imgnum]);
    
    
    
   
   
  92. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //imshow("原图",frame);
    
    
    
   
   
  93. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //waitKey(5);
    
    
    
   
   
  94. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //! [Resizing without keeping aspect ratio]
    
    
    
   
   
  95. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		cv::Mat resized;
    
    
    
   
   
  96. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		cv::resize(frame, resized, cv::Size(network_width, network_height));
    
    
    
   
   
  97. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //! [Resizing without keeping aspect ratio]
    
    
    
   
   
  98. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  99. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //! [Prepare blob]
    
    
    
   
   
  100. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		Mat inputBlob = blobFromImage(resized, 
     
     1 / 
     
     255.F); 
     
     //Convert Mat to batch of images
    
    
    
   
   
  101. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //! [Prepare blob]
    
    
    
   
   
  102. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  103. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //! [Set input blob]输入归一化的图像
    
    
    
   
   
  104. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		net.setInput(inputBlob, 
     
     "data");                
     
     //set the network input
    
    
    
   
   
  105. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //! [Set input blob]
    
    
    
   
   
  106. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  107. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //! [Make forward pass]前向传播进行计算
    
    
    
   
   
  108. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		cv::Mat detectionMat = net.forward(
     
     "detection_out");    
     
     //compute output
    
    
    
   
   
  109. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //! [Make forward pass]
    
    
    
   
   
  110. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  111. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  112. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     float confidenceThreshold = parser.get<
     
     float>(
     
     "min_confidence");
    
    
    
   
   
  113. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     for (
     
     int i = 
     
     0; i < detectionMat.rows; i++)
    
    
    
   
   
  114. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		{
    
    
    
   
   
  115. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    			
     
     const 
     
     int probability_index = 
     
     5; 
     
     //前5个参数为每一个bounding box包含5个值：x，y，w，h和confidence（置信度），置信值代表box包含一个目标的置信度
    
    
    
   
   
  116. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    			
     
     const 
     
     int probability_size = detectionMat.cols - probability_index;
     
     //后20个为voc数据集中有20个类别，每个类的概率
    
    
    
   
   
  117. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    			
     
     float *prob_array_ptr = &detectionMat.at<
     
     float>(i, probability_index);
    
    
    
   
   
  118. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  119. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    			
     
     size_t objectClass = 
     
     std::max_element(prob_array_ptr, prob_array_ptr + probability_size) - prob_array_ptr;
     
     //选择一个概率最大的作为检测结果
    
    
    
   
   
  120. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    			
     
     float confidence = detectionMat.at<
     
     float>(i, (
     
     int)objectClass + probability_index);
    
    
    
   
   
  121. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  122. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    			
     
     if (confidence > confidenceThreshold)
     
     //大于信心度阈值才输出
    
    
    
   
   
  123. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			{
    
    
    
   
   
  124. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     float x = detectionMat.at<
     
     float>(i, 
     
     0);
     
     //检测的矩形框的计算，本来是中心点和长宽，这都是被归一化后的
    
    
    
   
   
  125. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     float y = detectionMat.at<
     
     float>(i, 
     
     1);
    
    
    
   
   
  126. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     float width = detectionMat.at<
     
     float>(i, 
     
     2);
    
    
    
   
   
  127. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     float height = detectionMat.at<
     
     float>(i, 
     
     3);
    
    
    
   
   
  128. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     float xLeftBottom = (x - width / 
     
     2) * frame.cols;
     
     //得到图像上的矩形框的左上角和右下角坐标，要反归一化
    
    
    
   
   
  129. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     float yLeftBottom = (y - height / 
     
     2) * frame.rows;
    
    
    
   
   
  130. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     float xRightTop = (x + width / 
     
     2) * frame.cols;
    
    
    
   
   
  131. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     float yRightTop = (y + height / 
     
     2) * frame.rows;
    
    
    
   
   
  132. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  133. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     //std::cout << "Class: " << tag_names[objectClass] << std::endl;
    
    
    
   
   
  134. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     //std::cout << "Confidence: " << confidence << std::endl;
    
    
    
   
   
  135. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  136. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     //std::cout << " " << xLeftBottom
    
    
    
   
   
  137. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     //	<< " " << yLeftBottom
    
    
    
   
   
  138. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     //	<< " " << xRightTop
    
    
    
   
   
  139. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     //	<< " " << yRightTop << std::endl;
    
    
    
   
   
  140. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     stringstream ss;
    
    
    
   
   
  141. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     				ss << confidence;
    
    
    
   
   
  142. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     string str_text = tag_names[objectClass] + 
     
     ": "+ss.str();
     
     //输出类别和信心度
    
    
    
   
   
  143. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  144. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     Rect object((int)xLeftBottom, (int)yLeftBottom,
    
    
    
   
   
  145. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    					
     
     (int)
     
     (xRightTop - xLeftBottom),
    
    
    
   
   
  146. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    					
     
     (int)
     
     (yRightTop - yLeftBottom));
    
    
    
   
   
  147. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  148. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     				rectangle(frame, object, color[objectClass % 
     
     4],
     
     2);	
     
     //显示矩形框，我给了一个颜色数组，避免都是一个色的不好看
    
    
    
   
   
  149. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     int baseline = 
     
     0;
    
    
    
   
   
  150. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     				Size labelSize = getTextSize(str_text, FONT_HERSHEY_SIMPLEX, 
     
     0.5,
     
     1, &baseline);
     
     //设置字体
    
    
    
   
   
  151. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     //int x = xLeftBottom - labelSize.width >= 0 ? xLeftBottom - labelSize.width : xLeftBottom + labelSize.width;
    
    
    
   
   
  152. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     int rect_y = yLeftBottom - labelSize.height >= 
     
     0 ? yLeftBottom - labelSize.height : yLeftBottom ;
     
     //避免在边界时，显示的内容看不到
    
    
    
   
   
  153. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  154. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     				rectangle(frame, Rect(Point(xLeftBottom, rect_y),Size(labelSize.width,labelSize.height+baseline)), Scalar(
     
     0, 
     
     255, 
     
     0),CV_FILLED);
    
    
    
   
   
  155. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     //输出显示内容
    
    
    
   
   
  156. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     				cv::putText(frame, str_text, Point(xLeftBottom, rect_y+labelSize.height), FONT_HERSHEY_SIMPLEX, 
     
     0.5, color[objectClass%
     
     4]);
    
    
    
   
   
  157. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  158. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			}
    
    
    
   
   
  159. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		}
    
    
    
   
   
  160. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //cout << "用时: "<<1.0*(getTickCount() - start) / getTickFrequency() << endl;
    
    
    
   
   
  161. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		imshow(
     
     "detections", frame);
     
     //显示图像
    
    
    
   
   
  162. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     //waitKey();
    
    
    
   
   
  163. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     if (waitKey(
     
     5) == 
     
     'q')
    
    
    
   
   
  164. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			stop = 
     
     true;
    
    
    
   
   
  165. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	}
    
    
    
   
   
  166. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     //cout << "用时: " << 1.0*(getTickCount() - start) / getTickFrequency() << endl;//计算所有图片共运行的时间
    
    
    
   
   
  167. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     return 
     
     0;
    
    
    
   
   
  168. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     } 
     
     // main


代码上都有比较详细的注释，稍微看过论文或者看过其他人的写的论文笔记的，了解yolo的原理的都应该能看懂。我们简单分析一下网络的输出矩阵detectionMat，根据上面的分析。我们知道YOLO9000的输出是13*13*5*（5+20）维 的向量。


果然像我们分析的一样，调试时可以看到detectionMat是一个845*25维的矩阵，相当于一共845个boxes，每行表示一个boxes，每行有25列，分别表示矩形框的定位（4），该boxes的置信值（confidence score）。置信值代表box包含一个目标的置信度，以及20个类别的概率值。

知道了网络输出矩阵的意义，我们只需要分别取出来即可，每次只取类别概率最大的那一类，作为预测结果，然后跟confidenceThreshold作比较，超过阈值才认为是正确的预测，否则认为没有预测到。

 

最后就是预测框的计算了，因为作者模仿了faster-rcnn的做法，使用偏移量表示位置，而不是直接预测，实验表明这样做更容易训练，且可以提高mAP。作者就没有采用预测直接的offset的方法，而使用了预测相对于grid cell的坐标位置的办法，作者又把ground truth限制在了0到1之间，利用logistic回归函数来进行这一限制。所以最后计算出来的坐标需要去归一化，乘以图像的宽或者高。

 

最后部分的显示，我就不多说了，自己看看opencv的函数就可以了。

 

搞定收工。写的有点啰嗦，本来想和第一篇写在一起，结果写了这么多，如果你看到了这里，我只能说给你真有耐心，给你点个赞。下篇见~~

参考文献

[1] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[J]. 2016.

[2]http://blog.csdn.net/jesse_mx/article/details/53925356


njitbaisha
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
目标检测之二（传统算法和深度学习的源码学习）
baolinq的博客
11-20 8581
目标检测之二（传统算法和深度学习的源码学习） 本系列写一写关于目标检测的东西，包括传统算法和深度学习的方法都会涉及到，注重实验而不着重理论，理论相关的看论文去哈，主要依赖opencv。   本文主要内容：简单分析下yolo9000的原理，然后使用opencv的dnn模块进行目标检测.     接着上一篇提到的车辆检测（http://blog.csdn.net/baolinq/article/
目标检测之一（传统算法和深度学习的源码学习）
热门推荐
baolinq的博客
11-20 3万+
目标检测之一（传统算法和深度学习的源码学习） 本系列写一写关于目标检测的东西，包括传统算法和深度学习的方法都会涉及到，注重实验而不着重理论，理论相关的看论文去哈，主要依赖opencv。 一、目标检测有哪些算法，历史简介        最近在做一些目标检测相关的东西，目标检测是计算机视觉里面最重要的课题之一了，很多场合检测和识别都是很重要的，比如现在很火的无人驾驶，就非常依赖目标检测和识别，需
目标检测中传统方法和深度学习方法概述
weixin_51662487的博客
05-15 526
目标检测中传统方法和深度学习方法概述
[目标跟踪]传统算法--背景法【附代码】
z240626191s的博客
03-12 5158
前一直都在做目标检测和分类项目，现在准备入坑目标跟踪，准备从传统算法开始学习，然后再到深度学习方法。 目标跟踪是计算机视觉领域的一个重要研究领域，也被广泛的使用。 在目标跟踪任务中又可以分为单目标跟踪和多目标跟踪。 本文先研究的背景法，以后会不断更新其他方法。
模式识别课程：目标检测②传统检测算法
qq_42762824的博客
11-24 2778
title : 目标检测②传统检测算法 目标检测实验报告 检测所用软硬件+云服务器： 硬件：macOS或者windows电脑 软件：pycharm+生成的测试集 云服务器：滴滴云（https://www.didiyun.com/activity.html）输入博主的大师码：8996 ，可以和博主一样9折享受服务 什么是传统目标检测？ 首先我们先来了解一下什么是目标检测？简单来说就是把存在的目标从图片中找到并识别出来。我们发现这对于我们人来说十分简单，但对于计算机而言，它是怎么做到的呢？ 传统目标检测方法分.
YOLOv5 + Flask + Vue实现基于深度学习算法的垃圾检测系统源码+数据库
02-21
YOLOv5 + Flask + Vue实现基于深度学习算法的垃圾检测系统源码+数据库 技术特性 深度学习 YOLOv5：高效、准确的目标检测算法，实时识别检测图像和视频中的各种对象 PyTorch：机器学习框架，以动态计算图为基础，具有...
基于opencv的4种YOLO目标检测C++和Python源码+模型+说明.zip
05-02
【标题】：“基于OpenCV的4种YOLO目标检测C++和Python源码+模型+说明.zip”提供了全面的资源，帮助开发者深入了解和实践使用OpenCV实现YOLO（You Only Look Once）目标检测算法的四种不同版本。这些版本可能包括...
opencv部署深度学习车牌检测与识别包含Python和C++两种版本的实现源码+模型+说明.zip
05-02
《OpenCV深度学习车牌检测与识别的Python及C++实现详解》 在现代计算机视觉领域，深度学习技术已经成为解决图像处理问题的关键工具。本资源包提供了利用OpenCV库进行车牌检测与识别的完整解决方案，包括Python和C++...
基于深度学习+opencv实现抽烟打电话识别检测源码+模型文件+评估指标曲线+使用说明.zip
11-29
1、基于深度学习+opencv实现抽烟打电话识别检测源码+模型文件+评估指标曲线+使用说明2、附有训练、loss(损失值)下降曲线、Recall(召回率)曲线、precision(精确度)曲线、mAP等评估指标曲线3、4000多张图片数据训练，...
基于深度学习的实时人脸检测与识别算法的C++实现仅仅只依赖opencv库源码+模型+说明.zip
最新发布
05-02
这个项目的核心在于将深度学习技术与OpenCV相结合，实现高效、实时的人脸检测和识别功能。 首先，深度学习在人脸检测中的应用主要基于卷积神经网络（CNN）。CNN是深度学习中的一种特殊网络结构，擅长处理图像数据。...
使用OpenCV进行YOLO对象检测
qq_41277963的博客
07-08 1905
在本教程中，您将学习如何使用YOLO对象检测器使用Deep Learning，OpenCV和Python检测图像和视频流中的对象。 通过应用目标检测，你不仅能够确定什么是图像中，也其中一个给定对象所在！ 我们首先简要讨论YOLO物体探测器，包括物体探测器的工作原理。 从那里我们将使用OpenCV，Python和深度学习： 将YOLO物体检测器应用于图像 将YOLO应用于视频流 我们将通过...
OPENCV3.3
最爱方方的博客
01-18 3820
http://www.sohu.com/a/192672504_823210 在OpenCV3.3版本发布中把DNN模块从扩展模块移到了OpenCV正式发布模块中，当前DNN模块最早来自Tiny-dnn，可以加载预先训练好的Caffe模型数据，OpenCV做了近一步扩展支持所有主流的深度学习框架训练生成与导出模型数据加载，常见的有如下： Caffe TensorFlow Torch/PyT
opencv实战---对象检测（SSD+DNN）
m0_57224196的博客
10-05 2928
在这个项目里，不用训练，只用CPU，采用opencv+SSD+深度神经网络DNN的方法做到物体检测，在准确率和速度上面都十分可观。
OpenCV4.0 DNN-googleNet
2Know的博客
12-09 6037
OpenCV4.0 DNN-googleNet OpenCV 4.0最近发布，其中一大亮点便是加入DNN；之前的文章中介绍了OpenCV 4.0的编译，本系列就通过GoogleNet的demo来窥探OpenCV 4.0的DNN。 核心函数介绍 首先需要准备GoogleNet的prototxt，caffemodel，和synset_words.txt；这个在网上很容易下载到。然后就是需要一张RGB或...
C++QT5跨平台界面编程原理和实战大全
11-06
课程讲解基于QT5.9 SDK，包含QT界面编程的核心内容，并提供全部源码，课程讲解方式是接口讲解、分析、演示示例，课程讲解QTCreator在不同平台的配置方法，linux，windows，mac，课程演示主要以vs2015+QT5.9为主，开始会讲解QTCreator配置。课程源码基于c++ 11以上版本，建议至少安装vs2013以上。课程后会做一个图像编辑器的示例。
Opencv dnn实现人类性别检测和年龄预测
sinat_28371057的博客
04-11 1101
概述 前面我写了很多篇关于OpenCV DNN应用相关的文章，这里再来一篇文章，用OpenCV DNN实现一个很有趣好玩的例子，基于Caffe的预训练模型实现年龄与性别预测，这个在很多展会上都有展示，OpenCV DNN实现这里非常简洁明了，总共不到100行的代码。下面就来说一下怎么实现的，首先下载两个Caffe的预训练模型： Gender Net and Age Net https://www.dropbox.com/s/iyv483wz7ztr9gh/gender_net.caffe..
opencv3.3+dnn+caffe深度学习来实现图片的分类识别
zhxx120的专栏
12-10 9950
源代码如下： #include #include #include #include using namespace cv; using namespace cv::dnn;   #include #include #include using namespace std;   /* Find best class for the
Opencv DNN人脸检测
weixin_44623637的博客
02-28 1830
前言 OpenCV 3.3正式发布后，对深度学习（dnn模块）提供了更好的支持，dnn模块目前支持Caffe、TensorFlow、Torch、PyTorch等深度学习框架。 另外，新版本中使用预训练深度学习模型的API同时兼容C++和Python，让系列操作变得非常简便 从硬盘加载模型； 对输入图像进行预处理； 将图像输入网络，获取输出的分类。 当然，我们不能、也不该用OpenCV训练深度学...
高版本Opencv内置的videoInput库的使用方法
三郎Z
07-18 1636
环境： Windows XP QtCreator Qt4.8.3 Opencv2.4.3 源代码下载： 《高版本Opencv内置的videoInput库的使用方法》 特别标注： 有些网站转载我的文章不标明出处，并且转载不到位，没有把相应的链接一块转过去，比如说下载链接或相关文献的链接等，导致一些网友阅读和使用出现障

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值