SSD+LBP实现人脸识别

最新推荐文章于 2024-03-21 14:46:53 发布
最新推荐文章于 2024-03-21 14:46:53 发布
阅读量1.4k 收藏 3
点赞数 2
分类专栏： C/C++ 文章标签： opencv 人脸识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_33909696/article/details/119520500
版权

版本：opencv3.4.1
平台：win10
#<io.h>是windows专有库，在linux中不能使用

本文参考github训练的ssd模型（在本文后悔给出链接），然后结合LBP实现人脸检测，之所以选择ssd+lbp其原因在于快，相比于其他浮点计算人脸检测方法，如EigenFaceRecognizer，FisherFaceRecognizer，在速度上，因为lbp采用整数进行计算，因此，在速度上有很大的提示，这对于在一些羸弱的计算机如树莓派也能良好的工作。

下面是演示代码：
使用方法:
在第一次使用的时候，将Flag 设为1，他会采集人脸，并进行训练
在后面的执行中，就可以将flag设为0，他会自动去加载上一下训练的模型
该代码使用了两个自实现函数：getfiles和SplitString，主要用来获取目录下的所有文件和用来进行字符串分割，在使用时，可不比纠结于这两个算法的实现，知道其使用方法即可：

void getFiles(string path, vector<string>& files)
第一个参数为文件路径，第二个是一个vector向量，用于存放该文件夹下所有文件的路径

void SplitString(const string& s, vector<string>& v, const string& c)
第一个参数为要进行分割的字符串，第二个是一个vector向量，用于存放分割的字符串，第三个参数为要使用什么字符串进行风格，如“，”、"_"等。


#include<opencv2/opencv.hpp>
#include <iostream>
#include<opencv2/face.hpp>
#include<opencv2/dnn.hpp>
#include <string>
#include<io.h>
#include <fstream>

using namespace std;
using namespace cv;
using namespace cv::face;
using namespace cv::dnn;

int Flag = 1; //1表示需需要进行添加新人脸，进行训练，2表示加载模型直接运行

String image_base = "F:\\VS\\opencv\\data\\orl_faces";
String modelFile = "E:\\opencv_install\\model\\caffe_ssd_face_detactor\\res10_300x300_ssd_iter_140000.caffemodel"; //caffe模型
String model_text_file = "E:\\opencv_install\\model\\caffe_ssd_face_detactor\\deploy.prototxt";

String train_data_dir = "F:\\VS\\opencv\\边角检测\\边角检测\\data";
void getFiles(string path, vector<string>& files);
void SplitString(const string& s, vector<string>& v, const string& c);
map<int, string> ID_NAME;
int main(int argc, char** argv)
{
	//namedWindow("image", WINDOW_AUTOSIZE);
	// import Caffe SSD model
	Net net = readNetFromCaffe(model_text_file, modelFile);

	if (net.empty()) {
		printf("read caffe model data failure...\n");
		return -1;
	}
	VideoCapture capture(0);
	if (!capture.isOpened()) {
		printf("could not open camera...\n");
		return -1;
	}
	//采集人脸数据进行训练
	if (Flag == 1)  //添加人脸，进行训练
	{
		/*getFiles(train_data_dir, face_image_list);*/
		//使用摄像头进行采集10张需要添加的人脸
		int cnt = 10;
		int ID = 1;
		cout << "请输入姓名" << endl;
		string name = "";
		cin >> name;
		//循环遍历文件夹，为了避免ID重复，需要先获取当前已有ID;
		vector<string> face_image_list;
		getFiles(train_data_dir, face_image_list);
		if (face_image_list.size() == 0)
			ID = 1;
		else
		{
			//循环遍历，获取最大ID值
			for (int i = 0; i < face_image_list.size(); i++)
			{
				//存储格式为"F:\\VS\\opencv\\边角检测\\边角检测\\data\\name_ID_1.jpg"
				//获取ID方式，使用_进行分割
				vector<string> ID_list;
				SplitString(face_image_list[i], ID_list, "_");
				if (atoi(ID_list[1].c_str()) > ID)
					ID = atoi(ID_list[1].c_str());
			}
		}
		//新用户ID+1
		ID++;
		namedWindow("image", WINDOW_AUTOSIZE);
		while (true)
		{
			Mat tem_frame;
			capture.read(tem_frame);

			Mat inputBlob = blobFromImage(tem_frame, 1.0, Size(300, 300), Scalar(104, 117, 123), false, false);
			//crop一定要设置成false，让他进行缩放，而不能从中心进行裁剪
			net.setInput(inputBlob, "data");
			Mat prob = net.forward("detection_out");
			Mat detectionMat(prob.size[2], prob.size[3], CV_32F, prob.ptr<float>());//size[2]存放宽度，3存放高度
			//设置置信区间

			float confidence_threshold = 0.8;
			float confidence = detectionMat.at<float>(0, 2); //第二列存放的是置信度
			float tl_x = -1;
			float tl_y = -1;
			float br_x = -1;
			float br_y = -1;
			if (confidence > confidence_threshold)
			{
				size_t objIndex = (size_t)(detectionMat.at<float>(0, 1)); //第1列存放的是标签索引
				tl_x = detectionMat.at<float>(0, 3) * tem_frame.cols; //后面依次为x,y的坐标
				tl_y = detectionMat.at<float>(0, 4) * tem_frame.rows;
				br_x = detectionMat.at<float>(0, 5) * tem_frame.cols;
				br_y = detectionMat.at<float>(0, 6) * tem_frame.rows;
				Rect object_box((int)tl_x, (int)tl_y, (int)(br_x - tl_x), (int)(br_y - tl_y)); //绘制矩形，这里坐标需要转换为int
				rectangle(tem_frame, object_box, Scalar(0, 0, 255), 2, 8, 0); //绘制
			}
			imshow("image", tem_frame);
			char c = cv::waitKey(10);
			if (c == 115) //调整好姿势，按s进行采集数据
			{
				if (tl_x != -1)
				{
					Rect object_box((int)tl_x, (int)tl_y, (int)(br_x - tl_x), (int)(br_y - tl_y)); //绘制矩形，这里坐标需要转换为int
					Mat test_roi = tem_frame(object_box);
					imwrite(format((train_data_dir + "\\" + name + "_ % d_%d.jpg").c_str(), ID, cnt--), test_roi);
					cout << "已采集" << 10 - cnt << "张" << endl;
					cv::waitKey(500);//放在误触，设定1s采集一张
				}
				else
				{
					cout << "调整角度进行人脸采集" << endl;
				}
			}
			if (cnt == 0)
				break;
		}
		destroyWindow("image");

		//获取训练集，
		vector<string> train_image_list;
		getFiles(train_data_dir, train_image_list);
		vector<int> train_label;

		vector<Mat> tran_data;
		for (int j = 0; j < train_image_list.size(); j++)
		{
			//存储格式为"F:\\VS\\opencv\\边角检测\\边角检测\\data\\name_ID_1.jpg"
			tran_data.push_back(imread(train_image_list[j], 0));//以灰度模式进行读取
			vector<string> label_tem;
			SplitString(train_image_list[j], label_tem, "_");
			train_label.push_back(atoi(label_tem[1].c_str()));
			vector<string> name_tem;
			SplitString(label_tem[0], name_tem, "\\");
			ID_NAME[atoi(label_tem[1].c_str())] = name_tem[name_tem.size() - 1];
		}
		//train it
		int height = 300;
		int width = 300;
		//确保每张图片宽高一样
		for (int i = 0; i < tran_data.size(); i++)
		{
			resize(tran_data[i], tran_data[i], Size(width, height));
		}
		
		Ptr<LBPHFaceRecognizer> model = LBPHFaceRecognizer::create();
		cout << "train it....." << endl;
		model->train(tran_data, train_label);
		//模型保存
		model->save("F:\\VS\\opencv\\边角检测\\边角检测\\model\\face.xml");
		cout << "save it....." << endl;
	}
	// 创建并加载模型
	Ptr<LBPHFaceRecognizer> model = LBPHFaceRecognizer::create();
	cout << "load it....." << endl;
	model->read("F:\\VS\\opencv\\边角检测\\边角检测\\model\\face.xml");

	//获取ID_NMAE
	if (ID_NAME.size() == 0)
	{

		vector<string> train_image_list;
		getFiles(train_data_dir, train_image_list);


		for (int j = 0; j < train_image_list.size(); j++)
		{
			//存储格式为"F:\\VS\\opencv\\边角检测\\边角检测\\data\\name_ID_1.jpg"

			vector<string> label_tem;
			SplitString(train_image_list[j], label_tem, "_");

			vector<string> name_tem;
			SplitString(label_tem[0], name_tem, "\\");
			ID_NAME[atoi(label_tem[1].c_str())] = name_tem[name_tem.size() - 1];
		}

	}
	Mat frame;
	while (true)
	{

		capture.read(frame);
		if (frame.empty())
		{
			continue;
		}
		flip(frame, frame, 1);
		Mat inputBlob = blobFromImage(frame, 1.0, Size(300, 300), Scalar(104, 117, 123), false, false);
		//crop一定要设置成false，让他进行缩放，而不能从中心进行裁剪
		net.setInput(inputBlob, "data");
		Mat prob = net.forward("detection_out");
		Mat detectionMat(prob.size[2], prob.size[3], CV_32F, prob.ptr<float>());//size[2]存放宽度，3存放高度

		//设置置信区间

		float confidence_threshold = 0.8;
		for (int i = 0; i < detectionMat.rows; i++)
		{
			float confidence = detectionMat.at<float>(i, 2); //第二列存放的是置信度
			if (confidence > confidence_threshold)
			{
				size_t objIndex = (size_t)(detectionMat.at<float>(i, 1)); //第1列存放的是标签索引
				float tl_x = detectionMat.at<float>(i, 3) * frame.cols; //后面依次为x,y的坐标
				float tl_y = detectionMat.at<float>(i, 4) * frame.rows;
				float br_x = detectionMat.at<float>(i, 5) * frame.cols;
				float br_y = detectionMat.at<float>(i, 6) * frame.rows;
				Rect object_box((int)tl_x, (int)tl_y, (int)(br_x - tl_x), (int)(br_y - tl_y)); //绘制矩形，这里坐标需要转换为int
				rectangle(frame, object_box, Scalar(0, 0, 255), 2, 8, 0); //绘制
				//预测是谁
				Mat testSample_roi;
				try {
					testSample_roi = frame(object_box);
				}
				catch (Exception e)
				{
					testSample_roi = frame;
				}
				Mat gray;
				cvtColor(testSample_roi, gray, CV_BGR2GRAY);//因为训练的时候采用的是灰度
				resize(gray, gray, Size(300, 300));
				//int predictedLabel = model->predict(gray);
				int predictedLabel;
				double conf;
				model->predict(gray, predictedLabel,conf);

				cout << predictedLabel <<"      " << conf << endl;
				if(conf<40)
					putText(frame, ID_NAME[predictedLabel], Point(tl_x, br_y), FONT_HERSHEY_SIMPLEX, 1.0, Scalar(255, 0, 0), 2);
				else
					putText(frame, "Unknow", Point(tl_x, br_y), FONT_HERSHEY_SIMPLEX, 1.0, Scalar(0, 255, 0), 2);
			}
		}
		imshow("image", frame);
		cv::waitKey(1);

	}

	return 0;
}

void SplitString(const string& s, vector<string>& v, const string& c)
{
	string::size_type pos1, pos2;
	pos2 = s.find(c);
	pos1 = 0;
	while (string::npos != pos2)
	{
		v.push_back(s.substr(pos1, pos2 - pos1));

		pos1 = pos2 + c.size();
		pos2 = s.find(c, pos1);
	}
	if (pos1 != s.length())
		v.push_back(s.substr(pos1));
}

void getFiles(string path, vector<string>& files)
{
	//文件句柄
	long long   hFile = 0;
	//文件信息，声明一个存储文件信息的结构体
	struct _finddata_t fileinfo;
	string p;//字符串，存放路径
	if ((hFile = _findfirst(p.assign(path).append("\\*").c_str(), &fileinfo)) != -1)//若查找成功，则进入
	{
		do
		{
			//如果是目录,迭代之（即文件夹内还有文件夹）
			if ((fileinfo.attrib & _A_SUBDIR))
			{
				//文件名不等于"."&&文件名不等于".."
				//.表示当前目录
				//..表示当前目录的父目录
				//判断时，两者都要忽略，不然就无限递归跳不出去了！
				if (strcmp(fileinfo.name, ".") != 0 && strcmp(fileinfo.name, "..") != 0)
					getFiles(p.assign(path).append("\\").append(fileinfo.name), files);

			}
			//如果不是,加入列表
			else
			{
				files.push_back(p.assign(path).append("\\").append(fileinfo.name));
			}
		} while (_findnext(hFile, &fileinfo) == 0);
		//_findclose函数结束查找
		_findclose(hFile);
	}
}

在这里插入图片描述
不训练该人脸：
在这里插入图片描述
经测试发现，LBPHFaceRecognizer的置信度阈值为60，当然该阈值的实际参数还是需要根据自己的数据及进行适当调整才行。

模型github链接

思禾
关注
专栏目录
Python dlib（HOG+SVM）人脸识别总结
qq_40985985的博客
04-23 345
面部标志检测dlib 68点（HOG+SVM），194点人脸识别模型，包括口（外嘴唇，内嘴唇），鼻，眉毛（左右眉），眼睛（左右眼），下鄂5点面部标志检测器（左眼2点，右眼2点，鼻子1点）面部对齐更高效眨眼检测 ear 眨眼瞬间达到0疲劳驾驶检测—连续帧ear面部对齐 眼睛 连线反正切获取旋转角度，期望图像眼睛横长度计算比率 左眼计算右眼相对坐标 眼睛横中心点作为旋转点，获取旋转矩阵 应用仿射变换5点更适用于面部对齐，68点适用于眨眼检测及疲劳驾驶。Haar级联：快速，但准确性较低。
使用Python，OpenCV，本地二进制模式（LBP）进行人脸识别
qq_40985985的博客
08-21 1766
在深度学习和暹罗网络之前，面部识别算法依赖于特征提取和机器学习。 今天，我们将涵盖最受欢迎的预学习人脸识别算法之一，用局部二进制模式（LBPS）面对脸部检测。
SSD人脸检测安装：SSD训练自己的数据集
BigCowPeking
12-16 8000
第一部分 SSD安装系统：ubuntu 14.04 语言：python ssd项目主页：https://github.com/weiliu89/caffe/tree/ssd 首先，我们把项目代码clone下来, 然后编译：git clone https://github.com/weiliu89/caffe.git cd caffe git checkout ssd接下来，我们开始编译caffe,...
【人脸识别】ssd + opencv Eigenfaces 和 LBPH算法进行人脸监测和识别
weixin_40293999的博客
03-10 1884
其实不一定使用ssd，fasterRcnn， yolov 都可以~所以假设我们已经实现了这个监测模型。那么我们直接进入识别环境。
使用SSD人脸检测
梨子社区
11-09 779
【代码】使用SSD人脸检测。
人脸检测(SSD模型)
雪剑封心
11-06 2044
使用opencv 加载训练好的SSD模型。
LBP人脸识别的python实现
weixin_30807779的博客
12-09 1255
这几天看了看LBP及其人脸识别的流程，并在网络上搜相应的python代码，有，但代码质量不好，于是自己就重新写了下，对于att_faces数据集的识别率能达到95.0%~99.0%（40种类型，每种随机选5张训练，5张识别），全部代码如下，不到80行哦。 #coding:utf-8 import numpy as np import cv2, os, math, os.path,...
基于STM32的人脸识别
09-18
在这个实验中，STM32被用来处理和解析来自OV5640摄像头模块的数据，实现人脸识别功能。 OV5640是OmniVision公司生产的一款高性能CMOS图像传感器，常用于手机、监控摄像头和各种嵌入式视觉应用。它提供了高分辨率...
Python-pytorch实现的人脸检测和人脸识别
08-09
总结来说，"Python-pytorch实现的人脸检测和人脸识别"项目利用了PyTorch的深度学习能力，构建了高效的人脸检测和识别系统，涵盖了从模型设计、训练到部署的全过程。对于想要深入理解深度学习在人脸处理中的应用的...
基于FPGA的人脸识别工程源码
07-21
本项目主要探讨的是如何在FPGA平台上实现高效的人脸识别系统。 【描述】基于FPGA的人脸识别工程源码 这个项目的核心在于利用FPGA的硬件加速能力，实现人脸检测和识别功能。它可能包含了一个完整的流水线处理架构，...
基于SSD算法的人脸目标检测的研究.pdf
05-11
基于SSD算法的人脸目标检测的研究.pdf
OpenCV实现的SSD人脸检测器,DNN的人脸检测，Caffe, tensorflow模型文件
10-24
opencv实现的SSD人脸检测器，实现DNN的人脸检测，需要先下载模型文件，在OpenCV的\sources\samples\dnn\face_detector目录下，有一个download_weights.py脚本下载的模型文件，打包好了
Python-Caffe实现MobilenetSSD人脸检测器兼容树莓派
08-11
Caffe 实现Mobilenet-SSD人脸检测器（兼容树莓派）
基于SSD的人脸检测项目实践----（1）人脸业务场景介绍（常见问题、标注方法、算法性能好坏、人脸采集常用方法）（笔记）
奔跑的小仙女
06-09 1874
人脸业务场景介绍（常见问题、标注方法、算法性能好坏、人脸采集常用方法） 判断是否存在人脸，如果存在人脸则定位到人脸的位置 标准的目标检测问题（针对人脸目标） 姿态和表情的变化 不同人的外观差异 光照，遮挡的影响 不同视角 不同大小、位置 人脸标注方法—矩形标注 传统方法都是用一个矩形框将画面中的人脸区域包含在内 这种标记方法很难给出一个恰好包含面部的矩形框 人脸标注方法—椭圆标注 人脸天然呈...
人脸表情识别系统项目完整实现详解——（二）使用SSD模型检测人脸
最新发布
思绪无限的博客
03-21 1万+
人脸检测是人脸表情识别系统中至关重要的一环，其准确性直接影响到整个系统的性能表现。本文介绍了使用SSD模型和OpenCV进行高效人脸检测的完整代码实现。我们详细介绍了SSD人脸检测器的工作原理，包括如何加载预训练的SSD模型，并对输入图像中的人脸进行检测和定位。提供了详细的代码资源，展示了如何使用OpenCV读取和处理图像，使用SSD模型进行人脸检测，并在检测到的人脸周围绘制边界框。
SSD目标检测实战（TF项目）——人脸检测1
weixin_30570101的博客
07-20 385
SSD实战——人脸检测 Tensorflow 一 、人脸检测的困难： 1. 姿态问题 2.不同种族人， 3.光照 遮挡 带眼睛 4.视角不同 5. 不同尺度 二、 数据集介绍以及转化VOC： 1. FDDB 2.WIDER Face （本实战采用） 3.MegaFace WIDER Face介绍： 本数据集为香港中文大学的数据集，33203个图像 和 39370...
python-opencv：基于SSD的人脸检测
zfjBIT的专栏
06-14 6754
SSD： SSD是一种基于深度学习的目标检测算法，opencv在3.3版本以后将其引入作为基于深度学习的人脸检测器； 模型 opencv实现的SSD人脸检测器的骨干网络是REsNet-10，当前它提供了两个训练好的模型：基于深度学习框架caffe训练的模型和基于TensorFlow训练的模型 下载地址：https://github.com/opencv/opencv/blob/master/...
SSD人脸检测以及FDDB检测结果分析
常思考->有目标->重实践->善反思
08-26 5366
前段时间使用caffe版本的SSD训练人脸检测，效果还不错，在FDDB上测试了下结果最终只有89%的准确率，但是误判率很低，结果如下： 为了分析训练的SSD在FDDB上对于哪些类型的人脸检测结果较差，结果如下:蓝色的椭圆为FDDB的原始标注，红色的矩形为现有的SSD检测结果。 可以看到： 很模糊的脸没有检测到 还有些基本上算不上脸 极少数是人脸的确实没有检测到 发现FDDB中不...
opencv实现的人脸识别技术详解
基于OpenCV的自动人脸识别技术涵盖了生物识别理论、计算机视觉算法和深度学习等多个领域的知识，不仅需要理解各种人脸检测和识别方法，还需要掌握相关的编程技能，以实现高效稳定的人脸识别系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

思禾

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值