实时人脸识别的实现－基于opencv(7-18)

今天总结一下前段时间实践的基于opencv实时人脸识别软件的实现。

利用opencv来做人脸识别，对于想快速上手学习opencv以及机器学习方面知识的同学是个不错的选择。人脸识别，一般分为两个步骤，第一个就是人脸检测，第二步才是识别。
首先，人脸检测，opencv常用方法为基于adaboost的haar特征分类器，如何利用其提供的api训练自己的分类器，可参考这篇文章。
然后，找到人脸后，利用人脸区域的一些特征（LBP?HOG?），通过MLP或者CNN然后训练自己的识别资料库，最后进行识别。当然，opencv为我们提高了便捷快速的api，你甚至可以不去了解它怎么工作的，就可以训练自己的资料库进行识别。
以下为opencv提供的三种算法：

        Eigenfaces特征脸createEigenFaceRecognizer()
         Fisherfaces  createFisherFaceRecognizer()
         LocalBinary Patterns Histograms局部二值直方图 createLBPHFaceRecognizer()

以下为python版本和c++版本的实现：

Python版本的实现：

(实现了一个按键人脸识别考勤系统，当然如果要一直进行识别，去掉按键触发就好了)
pyqt5
opencv-python3.4.4

由于手机中的照片为样本拍的，所以准确率还算可以。我用的是lbp特征，置信度在80内认为识别到了，但多场景以及光线变化明显效果就不是很好。

贴出界面外识别线程的程序，多线程为了在qt－label中实时显示画面。

class Thread(QThread):#采用线程来播放视频

    global id, minH, minW, font, recognizer, faceCascade, names
    changePixmap = pyqtSignal(QtGui.QImage)
    
    #线程主函数
    def run(self):
        #HardWare.IO_Init()            
        global none_save                            
        none_save = 0
        if_dist = 1				   
   #pdb.set_trace()  # start debug
        while 1:
            #time.sleep(2)
            if_dist = HardWare.if_distance()	   
            print(if_dist)
            if if_dist == 0:			    
                flag = self.if_recognize(100,1)     #用户自己修改，100代表检测一百帧，1代表识别到就跳出
                print(flag)
		#识别失败，保存图片
                if flag == 'False':
                    none_save += 1
                    
		#识别到用户开门
                else:					
                    HardWare.openDoor()
                    time.sleep(5)
                    HardWare.closeDoor()
            else:
                HardWare.closeDoor()            #没人始终关门

  #封装人脸识别函数，实现功能： 输入 指定帧数 图像，凡是指定帧有 n张 识别成功 or 识别到连续的为同一个人，则返回 name；否则返回 false。
    def if_recognize(self,in_nums,ok_nums):
        cap = cv2.VideoCapture(0)
        last_id = 0
        i = 0
        ok_i = 0
        
        while 1:
            if cap.isOpened()==True:
                ret, img = cap.read()
                i += 1
                #img = cv2.resize(img, (320, 240), cv2.INTER_CUBIC)  # 缩小图像处理，增加帧率
                gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
                faces = faceCascade.detectMultiScale(  # 人脸检测
                    gray,
                    scaleFactor=1.2,
                    minNeighbors=5,
                    minSize=(int(minW), int(minH)),
                )
                if i >= in_nums:																			
					cv2.imwrite('none/'+str(none_save)+'.png',img,[int(cv2.IMWRITE_PNG_COMPRESSION),9])     
                    cap.release()																			
                    img.fill(255)																			
                    cv2.putText(img,' False !',(20,120),cv2.FONT_HERSHEY_SIMPLEX,2.0,(0,0,0),2)            	
                    rgbImage = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)											
                    convertToQtFormat = QtGui.QImage(rgbImage.data, rgbImage.shape[1], rgbImage.shape[0],	
                                                 QImage.Format_RGB888)
                    p = convertToQtFormat.scaled(gd.show_w, gd.show_h, Qt.KeepAspectRatio)					
                    self.changePixmap.emit(p)																
                    break

                count = 0								
                for (x, y, w, h) in faces:
                    count += 1								
                    if count>=2:							
                        break
                    # cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)
                    id, confidence = recognizer.predict(gray[y:y + h, x:x + w])
                    # 置信度 confidence ；  0 最完美
                    if (confidence < 80):
                        ok_i += 1
                        if (last_id == id)|(ok_i >= ok_nums):   
                            id = names[id]
                            #识别完一次之后，释放摄像头，并关闭显示
                            cap.release()
                            img.fill(255)
                            cv2.putText(img,'Success ! ',(50,150),cv2.FONT_HERSHEY_SIMPLEX,2.0,(0,0,0),2)
                            cv2.putText(img,'Welcome '+str(id)+'!',(10,250),cv2.FONT_HERSHEY_SIMPLEX,2.0,(0,0,0),2)
                            rgbImage = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
                            convertToQtFormat = QtGui.QImage(rgbImage.data, rgbImage.shape[1], rgbImage.shape[0],
                                                 QImage.Format_RGB888)  										# 在这里可以对每帧图像进行处理，
                            p = convertToQtFormat.scaled(gd.show_w, gd.show_h, Qt.KeepAspectRatio)
                            self.changePixmap.emit(p)
                            return str(id)
                        last_id = id

                    else:
                        id = "unknown"
                        continue

                rgbImage = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
                convertToQtFormat = QtGui.QImage(rgbImage.data, rgbImage.shape[1], rgbImage.shape[0],
                                                 QImage.Format_RGB888)  
                p = convertToQtFormat.scaled(gd.show_w, gd.show_h, Qt.KeepAspectRatio)
                self.changePixmap.emit(p)


return 'False'

C++版本实现

（实现了实现人脸检测软体，集采集、训练、识别为一体）
Qt5.8
opencv2.4.10
如果是opencv3+的，区别可参考人脸识别FaceRecognizer类的改变【opencv2.4.10——>opencv3.4.4】

长时间测试还是遇到和python版本一样的问题，ＬＢＰ特征，训练样本１００张，置信度调为９０，识别率大概在百分之七十左右，受光线影响大。

采集、训练、预测代码

/*
	人脸检测，保存样本。
	输入参数：样本数量
*/
int save_FaceSamples(int NUMS)
{
	string face_id;
	char s[50];//字符数组，用于存放字符串的每一个字符
	cout << "Please input a name" << endl;

	cin.get(s,50);           //终端输入样本文件夹
	face_id = s;//人的名字
	cout << face_id << endl;
	printf ("\n 看着摄像头，并等待 ...");

	save_samplename(s);              //存样本名字     

	VideoCapture capture(0);//打开摄像头

	//Size S = Size((int)capture.get(CAP_PROP_FRAME_WIDTH), (int)capture.get(CAP_PROP_FRAME_HEIGHT));
	//int fps = capture.get(CAP_PROP_FPS);

	//加载人脸检测分类器
	CascadeClassifier faceDetector;
	faceDetector.load(haar_face_datapath);


	Mat frame;
	vector<Rect>faces;
	int count = 0;
	int	num = 0;

	//检测人脸并将人脸作为样本存入
	while (1)
	{
		 capture.read(frame);
		 faceDetector.detectMultiScale(frame, faces,1.2,2, 0 | CV_HAAR_SCALE_IMAGE, cv::Size(80, 80));         //经测试，最佳参数
		 for (int i = 0; i < faces.size(); i++)
		 {
			 if (count % 10 == 0)
			 {
				 num++;
				 Mat dst;
				 resize(frame(faces[i]), dst, Size(100, 100));
				 cvtColor(dst, dst, COLOR_BGR2GRAY);
				 string path = "../face/" + face_id + "/";	//新文件夹路径
				 mkdir(path.c_str(),S_IRWXU);//创建人名为文件名的新文件夹
				 imwrite( path + face_id +"_"+ to_string(num) + ".jpg",dst);	//在对应文件夹中写入对应人的图片（如：名为‘小明’的文件夹中存入小明的图片）
			 }
			 rectangle(frame, faces[i], Scalar(0, 0, 255), 2, 8, 0);//框出人脸
			 count++;
		 }
		flip(frame, frame, 1);//镜像翻转
		imshow("window", frame);//显示的窗口
		char c = waitKey(1);
		if (c == 27)//Esc键退出
		{
			break;
		}
		if (num >= NUMS )
		{
			break;
		}
	}
	return 0;
}
/*
	返回 0 ，不训练，直接读取成功；
	返回 1 ，进行训练，再预测。
	进行训练之前需要先删除已存在的 xml 文件，或者改名。
*/
bool start_train(bool flag)
{
	fstream xmlfile;
	xmlfile.open(filepath, ios::in);                 //根据自己需要进行适当的选取 ios::in|ios::out|ios::binary
	if(flag == 0){
		if (xmlfile)                  //存在训练好的xml
		{
			std::cout <<"xml is existed" <<std::endl;
			xmlfile.close();
			return 0;
		}
	}

	ifstream file(listpath.c_str(), ifstream::in);
	if (!file)
	{
		printf("could not load file correctly...\n");
		return -1;
	}

	string line, path, classlabel;
	vector<Mat>images;
	vector<int>labels;
	char separator = ' ';
	cv::Mat image_one;
	while (!file.eof())
	{
		getline(file, line);
		//cout << line << endl;
		stringstream lines(line);
		getline(lines, path, separator);//获取样本图片路径
		getline(lines, classlabel);//获取标签
		//printf("%s---\n", classlabel.c_str());

		if (!path.empty() && !classlabel.empty())
		{
			//printf("ok:::path:%s\n", path.c_str());
			image_one = imread(path, 0);
			if(!image_one.data){
				cout << "err1"<<endl;
				break;
			}
			images.push_back(image_one);//样本图片放入容器
			labels.push_back(atoi(classlabel.c_str()));//标签放入容器
		}
	}

	if (images.size() < 1 || labels.size() < 1)
	{
		printf("invalid image path...\n");
		return -1;
	}

	//训练模型
	Ptr<FaceRecognizer> model = createLBPHFaceRecognizer();
	model->train(images, labels);
	model->save(filepath);

	xmlfile.close();
	return 1;
}
/*
	人脸识别预测函数
*/
int start_predict()
{
	bool flag_train = 0;
	flag_train = start_train(0);
	std::cout << "train ok!"<<std::endl;
	//识别分类器
	Ptr<FaceRecognizer> model = createLBPHFaceRecognizer();
	model->load(filepath);

	//加载检测分类器
	CascadeClassifier faceDetector;
	faceDetector.load(haar_face_datapath);

	VideoCapture capture(0);//打开摄像头
	if (!capture.isOpened())
	{
		printf("could not open camera...\n");
		return -1;
	}
	Mat frame;
	vector<Rect>faces;
	namedWindow("face-recognition", WINDOW_AUTOSIZE);//图片显示的窗口
	while (1)
	{
		capture.read(frame);//摄像头获取图片

		flip(frame, frame, 1);//镜像翻转
		faceDetector.detectMultiScale(frame, faces, 1.08, 3, 0, Size(50, 60), Size(380, 400));
		for (int i = 0; i < faces.size(); i++)
		{
			Mat dst;
			resize(frame(faces[i]), dst, Size(100, 100));//规范尺寸用于后续人脸识别
			cvtColor(dst, dst, COLOR_BGR2GRAY);//灰度化
			rectangle(frame, faces[i], Scalar(0, 255, 0), 2, 8, 0);//在窗口中框出人脸
			int predictedLabel = -1;
			double confidence = 0.0;
		    	model->predict(dst, predictedLabel, confidence);//对窗口中人脸进行识别，给出预测标签并赋于predictedLabel
			string result_message = format("Predicted number = %d / confidence = %2f.", predictedLabel, confidence);//查看标签和置信度
			cout << result_message << endl;

			//不同人对应的不同标签
		if(confidence > 90){
			predictedLabel = 100;
		}
		std::vector<std::string> m;
		std::vector<int> l;
		read_names(m,l);
		if(predictedLabel<m.size())
			putText(frame,  m[predictedLabel], faces[i].tl(), FONT_HERSHEY_PLAIN, 1.0, Scalar(0, 255, 0), 1, 30);//在人脸旁显示人名
		else
			putText(frame, "unkown", faces[i].tl(), FONT_HERSHEY_PLAIN, 1.0, Scalar(0, 255, 0), 1, 8);
		}
		imshow("face-recognition", frame);
		char c = waitKey(1);
		if (c == 27)
		{
			break;
		}
	}
	return 0;
}

C++版本
这里分享树莓派端的实现代码，硬件用光电开关控制是否开启（即实现人走进时自动识别）
树莓派端实现代码