Automated warping procedure for facial thermal imaging based on features identification in the visib

基于可见光域特征识别的人脸热成像自动变形方法

Abstract

提出了一种基于参考模板的人脸红外成像（IRI）自动变形过程的软件解决方案。在头部受控运动期间（即偏航、俯仰、皱眉、说话），同时记录六名受试者面部的可见光和红外视频。通过开源软件OpenFace在可见域的每一帧中识别68个面部标志点，并将其转换为IRI的相应帧；然后将IRI地标用作基于局部加权平均（LWM）变换将程序扭曲为参考模板的基础。所开发的算法在空间（平均均方根误差，RMSE=0.66像素）和时间（RMSE=0.81 ms）联合配准方面都是准确的，确保了区域温度的可靠估计（RMSE=0.09）◦C） 在规定的头部旋转范围内（±24.23◦对于偏航和±13.79◦ 用于俯仰运动）。所提出的算法代表了一种新的自动解决方案，用于在参考模板上扭曲人脸的IRI视频序列，追求处理流的高度自动化、操作员独立性以及提取和分析功能性热数据的客观性。它允许克服IRI的当前限制数据处理，主要是由于感兴趣区域（ROI）的操作员相关识别。该方法可允许通过IRI进一步发展对受试者心理生理状态的无接触评估，IRI对受试者面部几何差异和受试者内部运动相关噪声具有鲁棒性。

Introduction

红外成像（IRI）是一种能够精确评估远距离物体热分布的技术。IRI设备或热照相机可以捕捉人体的红外辐射，并将其转换为温度分布的图像。

在生物医学领域的不同应用中，IRI可以监测面部的皮肤温度调节，用于情感计算和生命体征监测的研究领域[1]。

当前最先进的技术提供了热红外摄像机，能够实现传感器的大焦平面阵列（FPA）（高达1280x1024像素）、高全帧采样率（高达150 Hz）和热灵敏度，即。噪音等效温差（30℃时高达15 mK◦C） 从而使可靠和准确地估计皮肤热模式及其时间变化成为可能。

事实上，在过去几十年中，提议将热红外成像用于生物医学研究和应用神经科学的科学出版物数量大幅增加[2-4]。

然而，对于不同受试者或实验条件下IRI的客观和定量比较工具的开发仍然缺乏。为此，一种可能的解决方案是采用扭曲方法，即在受试者和/或实验条件之间进行信号分析和统计推断之前，将完整的IRI视频数据集自动投影到面部参考模板中。由于定义良好的地标，该解决方案将高度适用于人脸的IRI，并允许克服感兴趣区域（ROI）识别、识别和分析可能产生的操作员依赖效应。扭曲方法允许通过IRI对人类的自主活动和情绪状态进行定量统计分析和推断，类似于功能磁共振成像（fMRI）中采用的程序，其中功能图像被扭曲成标准大脑图谱（例如。，在对大脑活动进行统计推断之前，使用Talairach或MNI模板[5]）。

扭曲方法依赖于在考虑中的图像（即地标）中找到两组对应几何特征之间的最佳匹配[6]。这在人脸的IRI中是一项非常重要的任务，因为红外图像有时会提供小而可变的对比度和纹理信息，这使得人脸几何地标的识别成为一项复杂的任务。事实上，面部热成像提供功能性和非形态学信息，热模式可以随着受试者的心理生理状态以及面部相对于红外摄像机的位置和旋转而随时间发生显著变化，由于FPA记录的热信号与ROI的实际角度相关[7]。尽管存在这些相当大的困难，但很少有早期的工作可以直接从IRI进行面部地标检测。最近，Kopaczka等人[8]开发了一种基于方向梯度直方图支持向量机（HOG-SVM）的人脸地标检测方法，其性能与其他可用方法相当，但完全自动适用于IRI视频。

然而，另一种更精确的面部地标检测方法是同时使用可见光摄像机和红外摄像机。事实上，大量用于人脸自动地标检测的技术方法已经可用，并在可见光领域得到了验证[9,10]。在可见记录上使用地标识别算法可以将IRI中地标识别问题简化为IRI和可见视频之间的信息融合问题，这在以前的工作中得到了广泛的研究（参见Ma和同事[11]）。融合方法基于不同的技术（即多尺度变换、稀疏表示、神经网络、显著性和图像配准），它们被应用于许多领域，包括识别、目标检测、跟踪、监视、彩色视觉和遥感[11]。

在过去的几十年中，有几项研究涉及人脸红外和可见光图像融合程序的开发。2014年，Tian等人[12]利用热图像和可见图像的特征相似性和空间几何信息，实现了人脸轮廓点集的融合图像。2015年，Ma等人[13]提出了一种用于热图像和可见人脸图像非刚性配准的正则化高斯场准则，在两个公开可用的数据库上验证了所开发的方法。2016年，Chen等人[14]描述了一种级联子空间学习方案，用于匹配可见光和热面。该方法基于白化变换、因子分析和共同判别分析，并通过跨数据库评估进行验证。最后，在2019年，Goulart等人[15]使用Viola-Jones算法在可见图像上检测感兴趣的面部区域，这些区域随后通过乘以通过相机系统校准过程获得的单应矩阵传输到热相机平面。

一旦在IRI上确定了地标，就可以应用不同的翘曲程序。Cardone等人[16]首次研究了IRI翘曲方法的可行性，考察了不同算法的性能。
在几何变换中，局部加权平均（LWM）在翘曲精度方面提供了最佳性能。

本文提出、描述并评估了一种人脸IRI自动翘曲的方法。基于可见光视频中人脸标志点的识别，通过可见光和红外光学系统之间的光学配准，在IRI上识别出相应的特征点。提取的地标然后用于应用LWM几何变换并获得在参考模板上扭曲的图像序列。

开发的解决方案的主要优势在于其可靠性，因为它基于广泛验证的计算机视觉可见成像算法。因此，该方法的性能主要与可见光和IRI之间的时空联合配准有关。该解决方案的其他积极方面是完全自动化，允许对数据集执行客观的处理和分析。事实上，由于红外视频的所有帧都在同一模板上扭曲，因此可以采用像素统计分析，从而对面部区域的激活进行统计推断。另一方面，该方法的主要局限性在于它严重依赖于为可见光成像而开发的算法，对于可见光成像，光照条件和遮挡问题至关重要。

所提出的软件解决方案追求处理流的完全自动化、操作员独立性和人脸IRI分析的客观性，以进行自主活动和情绪状态评估。

Materials and methods

Dataset description and procedure

IRI摄像机，FLIR A655sc（640×480测辐射热计FPA，净直径<50 mK@30◦C） 研究中使用了Logitech©C920高清专业网络摄像头（1080x1920像素，全高清镜头）。如图1所示，两个传感器靠得很近，并通过不锈钢支架垂直对齐。

在测量过程中，受试者舒适地设置在距离记录设备1米的位置，执行实验方案，包括30秒的休息（静止1），10次重复偏航运动（偏航）、俯仰运动（俯仰）和皱眉运动（皱眉），30秒休息（静止2），然后15秒说话任务（说话）（图2）。

每次治疗持续约3分钟（175.00±18.96秒）。
图3显示所开发过程的处理流。

第一步是检测面部地标，并在可见光域中对其进行跟踪；第二步是通过可见域与IRI的联合配准，实现IRI中的地标识别；最后一步涉及IRI在人脸参考模板上的扭曲过程。

开发的算法在六名受试者身上进行了测试。visible和IRI视频都是通过使用Pleora eBUS SDK的自制软件获得的。对于可见光视频，采集采样频率设置为30 Hz，对于IRI视频，采集采样频率设置为12.5 Hz。

将五个白色圆形胶纸标记（直径6 mm）应用于每个受试者面部，用作基准标记，以评估拟定翘曲程序的性能。标记位于眉间（M1）、右颊（M2）、下巴（M3）、左颊（M4）和鼻尖（M5）。标记物和皮肤之间的适当IRI对比度由其不同的发射率保证（即ε皮肤=0.98，ε纸张=0.94[17]）。

Optical Co-registration between visible and IRI cameras

开发程序的第一步是在两个成像系统（即可见光和IRI摄像机）之间进行光学协同登记。共同注册过程是整个管道的一个基本步骤，因为它允许从一个成像坐标系到另一个坐标系的适当映射。程序步骤如图4所示。

光学共注册依赖于OpenCV中实现的程序[17]。为了获得光学共对准，有必要估计两个摄像机的内在和外在参数，通常通过识别从不同角度和位置看到的已知点配置来实现，以覆盖摄像机的整个视野（FOV）。在这项工作中，使用了一种特殊的棋盘格（目标），其细节可被IRI摄像机清楚地检测到，以便于自动识别目标的角点。从这个角度来看，为了制作棋盘，在铝板上涂上了黑色乙烯基制成的粘性方块。由于铝和塑料的发射率值不同（εal=0.090；ε塑料=0.950[18]）。

从两个成像系统中同时获得20对具有不同角度的棋盘格图像（图4中的步骤1）。然后，使用OpenCV函数findChessboardCorners（图4中的步骤2）获得每个图像的角点坐标（像素）。图5中示出了同时获取的具有检测到的棋盘格角的可见光和红外图像的示例。

通过了解棋盘格正方形的真实尺寸（世界坐标），可以估计允许以真实单位表示给定图像坐标的参数，从而允许确定从可见到红外图像的共配准变换。特别地，为了估计内部参数（即，焦距、光学中心和每个相机镜头的径向畸变系数），使用OpenCV函数CalibleCamera（图4中的步骤3）。该函数的输入是以像素为单位的图像坐标和以实单位（即mm）为单位的世界坐标。随后，为了估计外部参数，使用OpenCV函数stereoCalibrate（图4中的步骤4）。该函数估计两个摄像机之间的几何变换，接受来自同时图像对的像素坐标、摄像机的固有参数和棋盘的世界坐标作为输入。