基于Aidlux平台的动态人脸识别AI应用

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行面部识别的一系列相关技术，通过也叫做人像识别、面部识别。

 人脸识别整体流程：

 人脸检测+关键点定位：

人脸检测模型用于确定人脸在图像中的大小和位置，把真正的人脸区域从图像中裁剪出来，并准确定位脸部关键点的位置，便于后续的人脸特征分析和识别。

人脸预处理：

在动态人脸识别的全流程中，人脸图像预处理是比较重要的一个环节，根据各种场景进行对应的预处理操作等。由于人脸特征提取模型的数据集中大多都是经过矫正过的标准人脸，所以我们也需要将过滤后的人脸进行几何矫正，使其尽可能称为正面标准人脸。人脸图像预处理服务于特征提取，原始人脸图像由于光照、人头角度、噪声过大等原因无法直接用于特征提取，需要过滤加快流程速度或进行预处理。

人脸特征提取+比对：

人脸特征提取方法都是基于深度学习方法提出的，人脸特征提取性能的提高还主要体现在损失函数的设计上，选用好的损失函数，会对整个网络的优化具有导向性的作用。人脸对比是对比人脸库内的人脸，常用的表示两个向量相似度方法有欧式距离、余弦相似度、曼哈顿距离等。

目的：将人脸图片的纹理信息，转化为高维的特征向量，对待识别的人脸进行建模，方便与后续人脸库中的特征向量进行比对，最终找到距离最近的一个库的人脸。

一、Retinaface训练

Retinaface是借助特征金字塔FPN+多任务学习设置多任务loss参数来提升人脸识别的精度。数据集下载网址和标签文件下载链接在本文末尾。

从github中下载pytorch版本的源码：Pytorch_Retinaface。

GitHub - biubug6/Pytorch_Retinaface: Retinaface get 80.99% in widerface hard val using mobilenet0.25.

训练相关的配置在data/config.py和train.py中进行修改，可以修改的参数较多

 

 上图代表开始训练，可以实时看到epoch数量和每个batch训练的时间和剩余时间。

训练时，每10个epoch会自动保存一个pth文件，使用detect.py将--train_model替换为训练好的pth文件地址，在将--network的默认参数改为mobile0.25,测试训练出来的模型效果。

二、Retinaface模型转换

使用Retinaface源码自带的脚本convert_to_onnx.py将其转化为onnx模型，把pth模型转化为Aidlux平台推理速度较快的tflite模型。

https://github.com/MPolaris/onnx2tflite

将代码clone下来，只需要在执行时赋予对应的参数即可。

 三、Aidlux部署Retinaface

1.vscode中利用ssh连接Aidlux开发配置

2.Aidlux部署Retinaface的环境配置：上传转化后的tflite模型文件即可

3.在Aidlux中利用vscode进行Retinaface代码的推理

四、人脸特征提取预处理——人头姿态估计

在动态人脸识别中，使用较高精度的人脸检测器时，由于各个摄像头角度的差异，或者光线原因，会出现许多无效的人脸，例如低头、侧脸等，这时候就需要人头姿态估计，为人脸特征提取器提前过滤掉这些无效人脸，加快人脸识别的速度。

1.取Retinaface预测的五个关键点的坐标

2.定义一个标准的正面人头 的五个关键点三维坐标

3.得到相机的内参

人头姿态估计实现：

(1)求解欧拉角，opencv提供的solvePnP算法，进行求解，得到旋转向量并转换为旋转矩阵：

(2)分解旋转矩阵，获得欧拉角并转换为具体的角度：

(3) 添加一个辅助线，方便直观看见效果

五、人脸矫正/对齐

姿态估计可以过滤掉俯仰角和偏航角不满足标准的人脸，由于摄像机角度不同、人动作不一样，使得过滤后的人脸还是不满足我们进行特征提取的最佳状态，所以还需要对人脸进行对齐和矫正。

使用基于标准特征点矫正算法实现(仿射变换)：

(1)定义一个标准的人脸2D图像坐标矩阵

 

(2)使用skimage库创建一个相似变换对象

 

(3)通过预测出的人脸关键点与标准人脸关键点预测出来变换矩阵

 

 (4)通过仿射变换求出矫正后的人脸图像

 六、底库人脸图像注册

我们收集人物的图片，按照人物名字给文件分类命名好，文件夹内可以存放一张或多张人像招聘

 

编写代码，遍历文件夹中的所有人像图片，对其进行关键点检测->姿态估计->矫正->提取特征

 

 我们会使用csv文件来存储所有提起到的人像图像的128维特征

 在人脸比对过程中，如果人脸的底库数量较大时，采用暴力搜索会导致搜索耗时成倍增加，这是可以借助大规模的搜索库Faiss。

因为我们的人脸库较小，采用保证精度的IndexFlatL2方案

 七、动态人脸识别全流程

将人脸关键点检测、人头姿态估计、人脸矫正、人脸特征提取、Faiss搜索进行功能串行

最后，使用Aidlux中台进行动态人脸识别的算法配置和效果展示。

数据集网站：WIDER FACE: A Face Detection Benchmark (shuoyang1213.me)http://shuoyang1213.me/WIDERFACE/index.html

 标签文件：

retinaface_gt_v1.1.zip_免费高速下载|百度网盘-分享无限制 (baidu.com)https://pan.baidu.com/s/1Laby0EctfuJGgGMgRRgykA基于Aidlux平台的动态人脸估计效果(Aidlux端部署)

基于Aidlux平台的动态人脸识别AI应用_哔哩哔哩_bilibili

基于Aidlux中台的操作及人脸效果估计(中台算法配置效果)

Aidlu中台操作及人脸识别效果_哔哩哔哩_bilibili