目标检测之一(传统算法和深度学习的源码学习)

目标检测之一(传统算法和深度学习的源码学习)

本系列写一写关于目标检测的东西,包括传统算法和深度学习的方法都会涉及到,注重实验而不着重理论,理论相关的看论文去哈,主要依赖opencv。

一、目标检测有哪些算法,历史简介

       最近在做一些目标检测相关的东西,目标检测是计算机视觉里面最重要的课题之一了,很多场合检测和识别都是很重要的,比如现在很火的无人驾驶,就非常依赖目标检测和识别,需要非常高的检测精度和定位精度。

       目标检测从很早就开始有了。

传统算法的典型代表有:

Haar特征+Adaboost算法

Hog特征+Svm算法

DPM算法

深度学习的目标检测典型代表有:

RCNN系列,RCNN,spp-net,fast-rcnn,faster-rcnn

YOLO系列,YOLO和YOLO9000

SSD

后来有了深度残差网络ResNet之后,又出现了RFCN,还有最近的mask-rcnn等等,检测效果越来越好,精度越来越高。

 

二、Haar特征+Adaboost特征检测   

作为本系列的第一篇,先来点简单的,我们从Haar特征+Adaboost算法开始。原理很简单。网络上教程一大堆,我这里就不废话了,稍微提下下。

Haar特征有以下几种:


       Adaboost算法是机器学习里面的一种集成学习的算法,说的通俗点,就是用弱分类器(分类能力较差,但是也要大于0.5)级联加权组合成强分类器(分类能力较强),在训练过程中会着重训练前面分类错误的样本,及具体做法是增加样本对应的权重。

本次实验检测目标为车辆

使用Haar+Adaboost算法目标检测分为三个步骤:

1、 样本的创建和标记

2、 训练分类器

3、 利用训练好的分类器进行目标检测。

 

1. 样本的创建和标记

自己做样本是一个非常痛苦和麻烦的事,最好还是自己去网上找些公开的数据集,毕竟像ImageNet比赛或者无人驾驶这么火,公开的数据集很多的。

这里给出几个车辆检测相关数据集链接:

http://www.gti.ssr.upm.es/data/Vehicle_database.html

http://www.cvlibs.net/datasets/kitti/raw_data.php?type=city

 

正样本,即包含检测对象的图片,使用图像标记工具,网上搜一下有很多的,格式就是,图片名+目标个数+目标的矩形框定位(左上角坐标和矩形长宽)

 

正样本描述文件vec文件的创建。

已经把目标的情况记录了放在txt文件里,打开cmd窗口,输入createsamples.exe -info positive/info.txt -vec data/vector.vec -num 500 -w 24-h 24。当然你也可以使用.bat文件运行。这句话的-num后面的500表示正样本图片的数目,后面的-w -h说的是图片resize成的大小,根据实际情况修改。运行完会生成vector.vec文件,这个就是向量描述文件了。你不用打开看它的内容,其实打开也没用,因为是乱码的,需要专门的软件。后面会用到。

做好这个其实就成功了一大半了,制作正样本很麻烦的。下面看看怎么制、制作负样本。很简单,准备图片(不包含车的图像)1500张,多点也可以。

负样本的制作

然后在当前路径下在cmd窗口运行dir /b *.jpg >neg_name.txt就会生成一个neg_name.txt文件,里面包含当前路径下的所有jpg文件的文件名。


好了,正负样本制作完成,可以开始训练了。我们使用opencv自带的opencv_haartraining.exe文件(opencv安装目录的bin目录下面有该文件)进行训练。


参数看起来很多,有点复杂。不用管它,网上查一下就明白了,很多参数都有默认值。我训练时的命令为

opencv_haartraining.exe-data data/cascade -vec data/vector.vec -bg negative/neg_name.txt -npos 500-nneg 1500 -nstages 20 -mem 4000 -w 24 -h 24

意思依次为 可执行文件名,训练好的xml分类器文件保存地址,正样本描述文件vec文件,负样本的文件名,正负样本的数量,nstages为训练轮数,mem为分配内存MB,图像resize的大小。

训练截图

       这个训练过程非常慢,可能要十几二十个小时,看电脑配置和数据量,我当时训练了20多个小时。你可以让它一直训练直到完成,你也可以随时中断训练,然后随时开始,他会接着训练,不会从头再来。

 

       经过漫长的等待训练完成得到xml分类器文件,然后使用opencv的接口即可进行车辆检测了,我是使用detectMultiScale这个函数检测的,就跟人脸检测一样的,然后输出矩形框。我直接贴出检测部分的源代码,其他部分都是直接使用opencv自带的。其实这个也算~~

    

#include<opencv2\opencv.hpp>
#include<opencv2\core\core.hpp>
#include<opencv2\highgui\\highgui.hpp>
#include <iostream>
using namespace std;
using namespace cv;

int main()
{
	string xmlPath = "car_model.xml";	//训练好的分类器xml文件
	CascadeClassifier ccf;   //创建分类器对象
	Mat img;
	if (!ccf.load(xmlPath))   //加载训练文件
	{
		cout << "不能加载指定的xml文件" << endl;
		return 0;
	}
	namedWindow("car");
	bool stop = false;
	//获取摄像头图像
	//VideoCapture cap(0);

	//获取文件夹图片序列
	string img_path = "data";//把图片放到当前目录的data文件夹下即可,文件名随便都可以
	vector<cv::String> vec_img;
	glob(img_path, vec_img);
	if (vec_img.empty())
	{
		std::cout << "there is no pictures." << endl;
		return -1;
	}
	//写入视频文件,我处理的是序列图片,所以我把检测结果写成视频文件了,便于观察
	//VideoWriter writer;
	//string video_name = "car1.avi";	
	//Mat temp = imread(vec_img[0]);
	//int frame_fps = 15;	//帧率
	//writer = VideoWriter(video_name, CV_FOURCC('X', 'V', 'I', 'D'), frame_fps, Size(temp.cols, temp.rows));
	while (!stop)
	{
		int64 start = getTickCount();
		for (int i = 0; i < vec_img.size(); ++i)
		{
			img = imread(vec_img[i]);
			//if (!cap.read(img))
			//	break;
			//cap >> img;
			vector<Rect> cars;  //创建一个容器保存检测出来的车辆
			Mat gray;
			cvtColor(img, gray, CV_BGR2GRAY); //转换成灰度图,因为harr特征从灰度图中提取
			//equalizeHist(gray, gray);  //直方图均衡行
			ccf.detectMultiScale(gray, cars, 1.1, 3, 0, Size(10, 10), Size(100, 100)); //检测车辆
			//cout << cars.size() << endl;
			for (vector<Rect>::const_iterator iter = cars.begin(); iter != cars.end(); iter++)
			{
				rectangle(img, *iter, Scalar(0, 0, 255), 2, 8); //画出矩形
			}
			imshow("car", img);
			//writer.write(img);
			if (waitKey(2) == 'q')//按q退出
			{
				stop = true;
				break;
			}
		}
		//计算运行时间
		cout << (getTickCount() - start) / getTickFrequency() << endl;
		break;
	}

	
	return 1;
}

测试效果截图:可以看到对于简单场景 的测试,检测效果还不错,速度超快的,每秒几十帧,几乎都能正确检测出来,但是对于复杂点的场景检测效果就很差了。这个时候就要看深度学习的了

测试场景1:高速公路,目标较少,1700张序列图片(320*240),只需要25s左右.

 

这是高速公路的监控相机下的场景,从上面两幅图像可以看到,远处的车辆几乎都没有检测到,当车辆靠近相机时,就能准确检测到。

 


    简单场景下检测效果较好,场景中的车辆几乎都能较准确的检测出来。

 

测试场景2:城市街道,由于光照和场景较复杂,检测效果很差,几乎不能检测出来

 

深度学习方法的对比,几乎都能正确检测出来,目前用的是YOLO方法进行车辆的检测,速度和精度都比较好,适合用于视频的实时检测。1700帧序列图像(320*240),用时600s左右,相当于大概1秒3帧,速度有点慢

 


    注:由于车辆较多,我把目标的标签和概率去掉了,只保留了检测框。

从上图可以看到,总体检测车辆的效果良好,但第三幅图的时候出现了一个错误的检测,它把马路识别为train。还有第四幅图像,由于目标比较密集,检测框定位不准确

   

 

    在更复杂的场景中,深度学习的方法表现出了更大的优势,由于光照的原因,场景中的目标不容易被检测,但是YOLO几乎全部准确检测出来。

关于YOLO进行目标检测的东西见本系列第二篇。有问题欢迎在评论区或者邮件交流,我也是初学者,有不对的地方还望各位不吝指正~~

 

参考文献

[1] ViolaP, Jones M. Rapid object detection using a boosted cascade of simplefeatures[C]// Computer Vision and Pattern Recognition, 2001. CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2003:I-511-I-518vol.1.

[2] Lienhart R, Maydt J. An extended set of Haar-like features for rapidobject detection[C]// International Conference on Image Processing. 2002.Proceedings. IEEE, 2002:I-900-I-903 vol.1.

[3] http://blog.csdn.net/zhuangxiaobin/article/details/25476833

[4] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[J]. 2016.

展开阅读全文

没有更多推荐了,返回首页