ZQCNN快速人脸检测

最新推荐文章于 2020-12-05 03:24:49 发布
最新推荐文章于 2020-12-05 03:24:49 发布
阅读量4.6k 收藏 2
点赞数 1
分类专栏： 人脸识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/88828703
版权

ZQCNN亦是一款开源人脸检测、特征点定位的优秀代码库，其基于MTCNN算法构建。

cpu 25ms，侧脸，低头都能检测到，精度不是很高，人脸框不是特别稳。

以下内容主要来自：

https://github.com/zuoqing1988/ZQCNN-MTCNN-vs-libfacedetection

 

ZQCNN-MTCNN-vs-libfacedetection

依赖库:

windows：mkl, opencv3.4.2

arm-linux: openblas, opencv3.4.2

 

libfacedetection:下载时间2019-03-25 09:00

该库无任何依赖。点赞～

mtcnn测试代码：

MKL 拷贝dll即可运行。

200多ms，人脸框不稳定，关键点也不是特别准。

#include "ZQ_CNN_Net.h"
#include "ZQ_CNN_MTCNN_old.h"
#include "ZQ_CNN_MTCNN.h"
#include <vector>
#include <iostream>
#include "opencv2/opencv.hpp"
#include "ZQ_CNN_CompileConfig.h"
#include <opencv2\imgproc\types_c.h>
#if ZQ_CNN_USE_BLAS_GEMM
#if __ARM_NEON
#include <openblas/cblas.h>
#else
#include <openblas/cblas.h>
#pragma comment(lib,"libopenblas.lib")
#endif
#elif ZQ_CNN_USE_MKL_GEMM
#include "mkl/mkl.h"
#pragma comment(lib,"mklml.lib")
#else
#pragma comment(lib,"ZQ_GEMM.lib")
#endif
using namespace ZQ;
using namespace std;
using namespace cv;

static void Draw(cv::Mat &image, const std::vector<ZQ_CNN_BBox>& thirdBbox)
{
	std::vector<ZQ_CNN_BBox>::const_iterator it = thirdBbox.begin();
	for (; it != thirdBbox.end(); it++)
	{
		if ((*it).exist)
		{
			if (it->score > 0.7)
			{
				cv::rectangle(image, cv::Point((*it).col1, (*it).row1), cv::Point((*it).col2, (*it).row2), cv::Scalar(0, 0, 255), 2, 8, 0);
			}
			else
			{
				cv::rectangle(image, cv::Point((*it).col1, (*it).row1), cv::Point((*it).col2, (*it).row2), cv::Scalar(0, 255, 0), 2, 8, 0);
			}

			for (int num = 0; num < 5; num++)
				circle(image, cv::Point(*(it->ppoint + num) + 0.5f, *(it->ppoint + num + 5) + 0.5f), 1, cv::Scalar(0, 255, 255), -1);
		}
		else
		{
			printf("not exist!\n");
		}
	}
}

static void Draw(cv::Mat &image, const std::vector<ZQ_CNN_BBox106>& thirdBbox)
{
	std::vector<ZQ_CNN_BBox106>::const_iterator it = thirdBbox.begin();
	for (; it != thirdBbox.end(); it++)
	{
		if ((*it).exist)
		{
			if (it->score > 0.7)
			{
				cv::rectangle(image, cv::Point((*it).col1, (*it).row1), cv::Point((*it).col2, (*it).row2), cv::Scalar(0, 0, 255), 2, 8, 0);
			}
			else
			{
				cv::rectangle(image, cv::Point((*it).col1, (*it).row1), cv::Point((*it).col2, (*it).row2), cv::Scalar(0, 255, 0), 2, 8, 0);
			}

			for (int num = 0; num < 106; num++)
				circle(image, cv::Point(*(it->ppoint + num * 2) + 0.5f, *(it->ppoint + num * 2 + 1) + 0.5f), 1, cv::Scalar(0, 255, 255), -1);
		}
		else
		{
			printf("not exist!\n");
		}
	}
}

int main()
{
	int num_threads = 1;
#if ZQ_CNN_USE_BLAS_GEMM
	printf("set openblas thread_num = %d\n",num_threads);
	openblas_set_num_threads(num_threads);
#elif ZQ_CNN_USE_MKL_GEMM
	mkl_set_num_threads(num_threads);
#endif

	VideoCapture cap = VideoCapture(0);
	if (!cap.isOpened())//如果视频不能正常打开则返回
		return 1;
	Mat image0;
	while (1)
	{
		cap >> image0;//等价于cap.read(frame);
		if (image0.empty())//如果某帧为空则退出循环
			break;
	//cv::resize(image0, image0, cv::Size(), 2, 2);
	if (image0.channels() == 1)
		cv::cvtColor(image0, image0, CV_GRAY2BGR);
	//cv::convertScaleAbs(image0, image0, 2.0);
	/* TIPS: when finding tiny faces for very big image, gaussian blur is very useful for Pnet*/
	bool run_blur = true;
	int kernel_size = 3, sigma = 2;
	if (image0.cols * image0.rows >= 2500 * 1600)
	{
		run_blur = false;
		kernel_size = 5;
		sigma = 3;
	}
	else if (image0.cols * image0.rows >= 1920 * 1080)
	{
		run_blur = false;
		kernel_size = 3;
		sigma = 2;
	}
	else
	{
		run_blur = false;
	}

	if (run_blur)
	{
		cv::Mat blur_image0;
		int nBlurIters = 1000;
		double t00 = omp_get_wtime();
		for (int i = 0; i < nBlurIters; i++)
			cv::GaussianBlur(image0, blur_image0, cv::Size(kernel_size, kernel_size), sigma, sigma);
		double t01 = omp_get_wtime();
		printf("[%d] blur cost %.3f secs, 1 blur costs %.3f ms\n", nBlurIters, t01 - t00, 1000 * (t01 - t00) / nBlurIters);
		cv::GaussianBlur(image0, image0, cv::Size(kernel_size, kernel_size), sigma, sigma);
	}

	std::vector<ZQ_CNN_BBox> thirdBbox;
	std::vector<ZQ_CNN_BBox106> thirdBbox106;
	ZQ_CNN_MTCNN mtcnn;
	std::string result_name;
	mtcnn.TurnOnShowDebugInfo();
	//mtcnn.SetLimit(300, 50, 20);
	const int use_pnet20 = true;
	bool landmark106 = true;
	int thread_num = 0;
	bool special_handle_very_big_face = false;
	result_name = "resultdet.jpg";
	if (use_pnet20)
	{
		if (landmark106)
		{
#if defined(_WIN32)
			if (!mtcnn.Init("model/det1-dw20-fast.zqparams", "model/det1-dw20-fast.nchwbin",
				"model/det2-dw24-fast.zqparams", "model/det2-dw24-fast.nchwbin",
				//"model/det2.zqparams", "model/det2_bgr.nchwbin",
				"model/det3-dw48-fast.zqparams", "model/det3-dw48-fast.nchwbin", 
				thread_num, true,
				"model/det5-dw64-v3s.zqparams", "model/det5-dw64-v3s.nchwbin"
				//"model/det3.zqparams", "model/det3_bgr.nchwbin"
#else
			if (!mtcnn.Init("../../model/det1-dw20-fast.zqparams", "../../model/det1-dw20-fast.nchwbin",
				"../../model/det2-dw24-fast.zqparams", "../../model/det2-dw24-fast.nchwbin",
				//"../../model/det2.zqparams", "../../model/det2_bgr.nchwbin",
				"../../model/det3-dw48-fast.zqparams", "../../model/det3-dw48-fast.nchwbin",
				thread_num, true,
				"../../model/det5-dw64-v3s.zqparams", "../../model/det5-dw64-v3s.nchwbin"
				//"../../model/det3.zqparams", "../../model/det3_bgr.nchwbin"
#endif
			))
			{
				cout << "failed to init!\n";
				return EXIT_FAILURE;
			}
		}
		else
		{
#if defined(_WIN32)
			if (!mtcnn.Init("model/det1-dw20-fast.zqparams", "model/det1-dw20-fast.nchwbin",
				"model/det2-dw24-fast.zqparams", "model/det2-dw24-fast.nchwbin",
				//"model\\det2.zqparams", "model\\det2_bgr.nchwbin",
				"model/det3-dw48-fast.zqparams", "model/det3-dw48-fast.nchwbin",
				//"model/det3.zqparams", "model/det3_bgr.nchwbin",
				thread_num, false,
				"model/det4-dw48-v2n.zqparams", "model/det4-dw48-v2n.nchwbin"
				//"model/det3.zqparams", "model/det3_bgr.nchwbin"
#else
			if (!mtcnn.Init("../../model/det1-dw20-fast.zqparams", "../../model/det1-dw20-fast.nchwbin",
				"../../model/det2-dw24-fast.zqparams", "../../model/det2-dw24-fast.nchwbin",
				//"model/det2.zqparams", "model/det2_bgr.nchwbin",
				"../../model/det3-dw48-fast.zqparams", "../../model/det3-dw48-fast.nchwbin", 
				thread_num, false,
				"model/det4-dw48-v2s.zqparams", "model/det4-dw48-v2s.nchwbin"
				//"../../model/det3.zqparams", "../../model/det3_bgr.nchwbin"
#endif
			))
			{
				cout << "failed to init!\n";
				return EXIT_FAILURE;
			}
		}
		mtcnn.SetPara(image0.cols, image0.rows, 80, 0.5, 0.6, 0.8, 0.4, 0.5, 0.5, 0.709, 3, 20, 4, special_handle_very_big_face);
	}
	else
	{
#if defined(_WIN32)
		if (!mtcnn.Init("model/det1.zqparams", "model/det1_bgr.nchwbin",
			"model/det2.zqparams", "model/det2_bgr.nchwbin",
			"model/det3.zqparams", "model/det3_bgr.nchwbin", thread_num))
#else
		if (!mtcnn.Init("../../model/det1.zqparams", "../../model/det1_bgr.nchwbin",
			"../../model/det2.zqparams", "../../model/det2_bgr.nchwbin",
			"../../model/det3.zqparams", "../../model/det3_bgr.nchwbin", thread_num))
#endif
		{
			cout << "failed to init!\n";
			return EXIT_FAILURE;
		}

		mtcnn.SetPara(image0.cols, image0.rows, 20, 0.6, 0.7, 0.7, 0.4, 0.5, 0.5, 0.709, 4, 12, 2, special_handle_very_big_face);
	}
	mtcnn.TurnOffShowDebugInfo();
	//mtcnn.TurnOnShowDebugInfo();
	int iters = 100;
	double t1 = omp_get_wtime();
	for (int i = 0; i < iters; i++)
	{
		if (i == iters / 2)
			mtcnn.TurnOnShowDebugInfo();
		else
			mtcnn.TurnOffShowDebugInfo();
		if (landmark106 && use_pnet20)
		{
			if (!mtcnn.Find106(image0.data, image0.cols, image0.rows, image0.step[0], thirdBbox106))
			{
				cout << "failed to find face!\n";
				//return EXIT_FAILURE;
				continue;
			}
		}
		else
		{
			if (!mtcnn.Find(image0.data, image0.cols, image0.rows, image0.step[0], thirdBbox))
			{
				cout << "failed to find face!\n";
				//return EXIT_FAILURE;
				continue;
			}
		}
	}
	double t2 = omp_get_wtime();
	printf("total %.3f s / %d = %.3f ms\n", t2 - t1, iters, 1000 * (t2 - t1) / iters);

	namedWindow("result");
	if (landmark106 && use_pnet20)
		Draw(image0, thirdBbox106);
	else
		Draw(image0, thirdBbox);
	imwrite(result_name, image0);
	imshow("result", image0);

	waitKey(1);
	}
	return EXIT_SUCCESS;
}

(一) WINDOWS下对比 

(测试机器为E5-1650V4 3.6GHz)

编译方式：

ZQCNN用.sln打开

libfacedetection用cmake-gui配置，勾选avx2和DEMO，不勾选int8和neon，配置之后用vs打开，注意在facedetection、facedetection_shared、fdt_demo三个项目的项目属性->C++->代码生成里开启AVX2和快速浮点。

(1)对比keliamoniz1.jpg

 

结果比较：

(2)对比4.jpg

 

结果比较：

 

（3)对比其他图片

 

结果比较：

 

（二）ARM-LINUX下对比 

(测试机器为firefly rk3399)

编译方式：

ZQCNN: 先编译OpenBLAS, OpenCV3.4.2, 然后编译ZQCNN, 使用命令cmake .. -DSIMD_ARCH_TYPE=arm64 -DBLAS_TYPE=openblas_zq_gemm 具体参见ZQCNN项目的README

libfacedetection: 命令cmake .. -DENABLE_NEON=ON -DCMAKE_BUILD_TYPE=RELEASE

(1)对比keliamoniz1.jpg

 

结果比较：

 

 

(2)对比4.jpg

 

结果比较：

 

(3)对比其他图片

 

结果比较：

 

总结

根据以上比较结果可知，按照上述编译方式，在上述图像集中，ZQCNN-MTCNN在速度和精度上都优于libfacedetection。

不过要声明一点，该比较中使用的图像数量过少，感兴趣的读者可自行下载编译测试。

ZQCNN使用了mkl、openblas，这些基础加速库可能是其速度占优的原因。

libfacedetection追求无依赖库，在实际项目中，应用可以更广泛。

 

代码数据下载

作者已经把上述代码及测试图像开源了，在OpenCV中文网公众号对话界面回复“facepk”，即可收到下载地址。

AI算法网奇
关注
专栏目录
ZQCNN：一种比mini-caffe恢复的Forward库，觉得好用请点星啊，400星宣布快速人脸检测模型，500星宣布106点地标，600星宣布人头检测模型，700星宣布人脸检测套餐（六种pnet，两种rnet随意混合使用以满足各种速度精度要求），800星宣布更准的106点模型
02-20
简介 ZQCNN是ZoQing参照mini-caffe写的forward库，ZQCNN性能远超mini-caffe，opencv。 主开发环境： MKL下载地址： 核心模块支持linux： 如果按照不能完全编译，可以只编译ZQ_GEMM，ZQCNN，和其他你想测试的程序 核心模块支持arm-linux： 如果按照不能完全编译，可以只编译ZQ_GEMM，ZQCNN，和其他你想测试的程序 错误： cmake .. -DSIMD_ARCH_TYPE = arm64 -DBLAS_TYPE = openblas_zq_gemm 理想情况下会使用openblas和ZQ_GEMM较快的一方来计算卷积（我通过在cortex-A72上测试时间来选择分支）。而目前这个选项并不能达到预期效果，需要手工注在ZQ_CNN_CompileConfig.h里定义 #define ZQ_CNN_USE_ZQ_GEMM
卷积神经网络(CNN)学习笔记2：模型训练
欢迎来到打不死的小强的专栏
12-02 3612
卷积神经网络(CNN)学习笔记2：模型训练 Posted on 2016-03-03   |   In Machine Learning   |   0 Comments   |    Views 上篇博文主要对CNN的基本网络结构及连接方式做了简单的介绍，还介绍了一个界内经典的LeNet-5模型。下面重点介绍CNN模型的训练过程/参数学习，在阅读本文之前，最好需要有以下方面
cpp-ZQCNNv00一款比minicaffe更快的Forward库
08-16
ZQCNN-v0.0 一款比mini-caffe更快的Forward库
比STL更快的整数排序算法
08-09
一个定义了整数排序的工程，相比课本上的要更加高效和简洁
FaceDetection
05-12
emgucv开源人脸识别,好用请给5分
人脸检测与识别
03-16
人脸检测与识别是计算机视觉领域中的重要技术，它主要涉及两个关键步骤：人脸检测和人脸识别。在本项目中，我们使用的环境是OpenCV 2.4.6.0，这是一种强大的开源计算机视觉库，提供了丰富的图像处理和机器学习功能。...
安卓人脸检测
04-01
在安卓平台上进行人脸检测是一项常见的计算机视觉任务，它涉及到图像处理和机器学习技术。本文将深入探讨安卓系统中实现人脸检测的方法，以及如何利用提供的ViseFace-master项目进行人脸检测。 1. **人脸检测基本...
微信小程序实现人脸检测功能
08-27
微信小程序实现人脸检测功能是指利用微信小程序平台实现人脸检测的功能，该功能可以应用于各种场景，例如人脸识别、人脸验证、人脸跟踪等。该功能的实现主要依赖于百度云人工智能的支持，通过调用百度云的人脸识别...
OpenCV3人脸检测
08-10
本篇将深入探讨OpenCV3在人脸检测方面的应用。 一、Haar特征级联分类器 OpenCV3中最常用的人脸检测方法是基于Haar特征的级联分类器。这种方法通过在大量正负样本上训练级联分类器，来识别图像中的人脸。级联分类器...
ncnn -facedetector测试代码.tar.gz
02-14
人脸识别ncnn-facedetector测试代码.tar.gzncnn -facedetector测试代码.tar.gz
ZQCNN github备份
a970055982的博客
01-07 246
https://github.com/zuoqing1988/ZQCNN 转载于:https://www.cnblogs.com/jerrybaby/p/10233708.html
ncnn载入106点关键点检测模型
sinat_31425585的博客
04-08 4652
最近发现一款强大的开源部署框架，左庆博士开源的ZQCNN：https://github.com/zuoqing1988/ZQCNN 发现里面有个106个点的人脸关键点检测模型效果特别好，就将其对应mxnet模型转换成ncnn对应模型，测试代码如下： #include <iostream> #include "opencv2/opencv.hpp" #include "ncnn/n...
mtcnn人脸检测_重磅！最快人脸检测开源库对比：ZQCNNMTCNN vs libfacedetection
weixin_39679061的博客
12-05 326
点击上方“CVer”，选择加"星标"或“置顶”重磅干货，第一时间送达前言CVer 前段时间分享了一个很棒的开源人脸检测库：libfacedetection，详见：重磅！最快人脸检测库开源2019年3月25日，Amusi 在github上发现 follow很久的左庆大佬刚push了一个项目：ZQCNN-MTCNN-vs-libfacedetection。点进去一看，原来是全面对比了ZQC...
基于ncnn框架搭建MTCNN人脸检测工程
qq_24946843的博客
06-10 2004
1、下载git 2、在桌面新建文件夹test，进入该文件夹，鼠标右击选择Git Bash Here 3、在弹出的命令行窗口中输入以下指令，将该仓从github上下载下来 git clonehttps://github.com/moli232777144/mtcnn_ncnn.git 4、继续输入以下指令更新子模块 git submodule update --init 5、双击t...
rk3399+ubuntu：基于深度学习框架ncnn对比clang和gcc性能
yuanlulu的博客
02-26 5346
编译方式 修改toolchains/aarch64-linux-gnu.toolchain.cmake，内容如下： # set cross-compiled system type, it's better not use the type which cmake cannot recognized. SET ( CMAKE_SYSTEM_NAME Linux ) SET ( CMAKE_SYST...
基于肤色信息的快速人脸检测方法
"本文主要探讨了肤色信息在人脸检测中的应用，通过使用肤色模型和肤色分割技术，实现快速准确的人脸定位。" 在人脸检测领域，肤色信息是一种重要的特征，因为它在人脸和非人脸区域之间提供了显著的差异。文章"肤色...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值