基于SEETAFACE2和红外MLX90640的人脸识别系统

一、背景

 去年8月，中科视拓发布了SEETAFACE2了，楼主花了十天，结合前期的基于MLX90640的开发基础，把SEETAFACE2作为引擎，构建一个即可温度检测，又可识别人脸的系统，打法下无聊的在家休养时光。中科的SEETA1若干年前楼主用过，总体来说，SEETA1测试效果差是公开的，识别率比公布的97%差距很大。这次，对于seetaface2到底效果好不好，真是拭目以待。

二、SEETAFACE2的编译

网上有很多的seetaface2怎么编译的例子，楼主感觉没有写的那么复杂，下面就把步骤简单说下：

（1） 下载opencv-4.1.0-vc14_vc15.exe，由于我的开发环境刚好是VS2017(vc15)，就没有自己编译opencv，直接把opencv改了下名字，放到c:\\下面了，接下来要用的就是VC15下的LIB/DLL拷贝了.

（2）配置下环境变量，把opencv相关路径放进去

（3）下载cmake，安装好，设好路径，设置好opencv， 依次config, generate, open project， 设置如下所示：

（４）接下来，编译seeta2，生成相关的lib 和dll，要注意的是，默认的编译方式是x32,要改成64的，编译完成后，就可以在D:\....\SEETA2\SeetaFace2-master\build\x64\Release里找到相关的DLL和LIB。

三、串口程序的编写

（１）改了下代码，用ＶＣ加入了serial port 的支持；

#ifdef __OPEN_IR_SENSORS_DRIVER__
	g_Comm1.setbandrate(115200);
	g_Comm1.setportno("COM7");
	if (g_Comm1.Init() == COMM_FAIL)
	{
		CString strMsg = _T("子系统通讯口驱动失败！");
		AfxMessageBox(strMsg);
		LOG_PRINT(ERROR_LEVEL3, "%s\n", strMsg);
		return;
	}
	DWORD dwReadCookie;
	g_bReadStart = true;
	HANDLE hReadThread = CreateThread(NULL, 0, DriverReadProc, (LPVOID)this->m_hWnd, 0, &dwReadCookie);
#endif

（2）把MLX90640的数据读了出来，并转换成图像MAT。

Mat Array2Mat(int a[], const char *str)
{
	Mat M(24, 32, CV_8UC1);
	for (int i = 0; i < M.rows; ++i) 
	{
		uchar *p = M.ptr<uchar>(i);
		for (int j = 0; j < M.cols; ++j)
			p[j] = a[i*32 + j];
	}

	return M;
}

//红外数据获取线程
DWORD WINAPI DriverReadProc(LPVOID pParam)
{
	HWND hWnd = (HWND)pParam;

	int index = 0;
	while (g_bReadStart)
	{
		unsigned char data_out[MAX_BUFFER_SIZE];
		DWORD  dwLength = 0;
		memset(data_out, 0, MAX_BUFFER_SIZE * sizeof(unsigned char));
		g_Comm1.ReadPort(data_out, &dwLength);
		if (dwLength > 0)
		{
			if (dwLength >= 2 && data_out[0] == 0x5A && data_out[1] == 0x5A)
			{
				index = 0;
			}

			if (dwLength >= 1543)
			{
				WORD tempdata[768];
				for (int i = 0; i < 768; i++)
				{
					tempdata[i] = (WORD)(data_out[2 * i + 5] * 256 + data_out[2 * i + 4]);
				}

				long mean = 0;
				long max = 0;
				long min = 0;
				int maxi = 0;
				for (int i = 0; i < 768; i++)
				{
					mean += tempdata[i];
					if (tempdata[i] > max)
					{
						max = tempdata[i];
						maxi = i;
					}
					if (tempdata[i] < min) min = tempdata[i];
				}

				::EnterCriticalSection(&g_csTempDataLock);
				memcpy(g_tempdata, tempdata, 768 * sizeof(WORD));
				::LeaveCriticalSection(&g_csTempDataLock);

				mean = mean / 768;

				long scale = 0;
				if ((max - mean) > (mean - min))
					scale = max - mean;
				else scale = mean - min;

				int imgdata[768];
				for (int j = 0; j < 768; j++)
				{
					imgdata[j] = (ushort)((tempdata[j] - mean)*255.0 / scale);
				}

				g_MATIR = Array2Mat(imgdata, "ssss");

				index = 0;
			}
		}

		Sleep(10);
	}

（3）调整算法，把热红外的温度数据图像合成到实时视频里。如下图红色的效果：

代码如下：

#ifdef __OPEN_IR_SENSORS_DRIVER__
		//显示红外动态画面
		Mat m = g_MATIR.clone();
		Mat mdest, mdest3;
		int width = static_cast<float>(m.cols * 5);
		int height = static_cast<float>(m.rows * 5);
		resize(m, mdest, cv::Size(width, height));
		mdest3 = convertTo3Channels(mdest);
		Mat imageROI;
		imageROI = frameD(cv::Rect(frame.cols-mdest3.cols, frame.rows-mdest3.rows, mdest3.cols, mdest3.rows));
		cv::addWeighted(imageROI, 1.0, mdest3, 0.5, 0, imageROI);
#endif

通过这种方式，就可以把红外合成到实时视频里了。

四、监控管理程序

（1）人脸图库，通过图片把需要识别的人底片加进去。

（2）测试，把摄像头对准水果机，开启爱奇艺，开始追剧，发现识别效果还是不错的。

（3）查询，可以查询识别出来的陌生人和熟人。

（4）监控程序就不多解释了。

 

五 、总结

总体来说，SEETA2效果还是不错的，小规模应用问题应该不是很大，DETECT/LANDMARKER速度应该是不错的，但是识别速度有点慢了，I5处理器在0.5秒左右；人脸识别系统和MLX90640配合起来，算是对32*24的红外传感器在上位软件上的极大的提升吧。另外就是，侧脸的识别率的确有点低，这一缺点经过验证是存在的，希望对大家有所帮助。