简介
InsightFace是一个开源的2D/3D人脸分析工具,基于Pytorch和MXNet实现,包含多个人脸识别、人脸检测和人脸对齐的前沿算法,经过优化适合高效的训练与部署。
环境准备与安装
环境需求
- 操作系统:Ubuntu 22.04
- CUDA:11.8
- Python:3.10
- PyTorch:2.1.0
安装步骤
InsightFace 的安装非常简单,可以通过以下命令直接完成:
pip install insightface -i https://pypi.tuna.tsinghua.edu.cn/simple
在github上的代码库中还有对安装的一些介绍
可以看到,除了安装insightface库外,为了使用GPU,我们还需要安装一些额外的库,如onnxruntime-gpu以启用 GPU 推理。
pip install mxnet onnxruntime-gpu numpy==1.23.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
注意事项
- 卸载onnxruntime
如果您的系统已经安装了 onnxruntime,请在安装 onnxruntime-gpu 前卸载它,否则可能会导致推理过程中出现冲突错误。
pip uninstall onnxruntime - 修改 numpy 版本
使用 InsightFace 的 insightface-cli 工具时,可能会因 numpy 的版本不兼容报错:
AttributeError: module ‘numpy’ has no attribute ‘bool’
经过尝试,将 numpy 的版本修改为 1.23.2可以避免这个错误。 - 解决动态库缺失问题
如果报错如下:
FAIL : Failed to load library libonnxruntime_providers_cuda.so with error: libcublasLt.so.11: cannot open shared object file: No such file or directory
则根据下表安装对应版本的onnxruntime-gpu。
CUDA | cuDNN | PyTorch | onnxruntime-gpu | Install command |
---|---|---|---|---|
12.x | 9.x | 2.4.1 | 1.19.2 | pip install onnxruntime-gpu==1.19.2 |
12.x | 8.9 | 2.3.1 | 1.18.0 | pip install onnxruntime-gpu==1.18.0 --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/ |
11.8 | 8.9 | 2.3.1 | 1.19.2 | pip install onnxruntime-gpu==1.19.2 --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-11/pypi/simple/ |
我尝试的是第三行的安装命令,可以解决我报错的问题。
模型下载
InsightFace 提供了多种模型用于不同场景的人脸分析,如下图所示:
为了能够正常进行推理,我们首先需要使用insightface-cli下载相应的模型:
insightface-cli model.download buffalo_sc
默认会使用 buffalo_l 模型,如果没有提前下载,系统会在首次运行时自动下载。为了节省资源,我们可以选择更小的 buffalo_sc 模型。
github上下载链接为google drive,我已将其上传至百度云盘,如果github上的链接无法访问,可以使用以下百度云盘链接获取模型:
- 链接: https://pan.baidu.com/s/1vGcAq1piOEyYPphHq4f_4A?pwd=4n85
- 提取码: 4n85
推理与测试
人脸检测
完成上述安装和模型下载后,我们可以使用 InsightFace 进行人脸检测。以下是完整的代码示例:
import cv2
import numpy as np
import insightface
from insightface.app import FaceAnalysis
from insightface.data import get_image as ins_get_image
app = FaceAnalysis(name="buffalo_sc",providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
app.prepare(ctx_id=0, det_size=(640, 640))
img = ins_get_image('/tmp/code/computer_version/insightface/j1')
faces = app.get(img)
rimg = app.draw_on(img, faces)
cv2.imwrite("./j1_output.jpg", rimg)
说明
- 模型名称指定
初始化 FaceAnalysis 时,需指定模型名称为 buffalo_sc。如果未指定,系统将自动下载并使用默认的 buffalo_l 模型。 - 图片路径
经尝试,图片路径需要为绝对路径,否则会报错。执行ins_get_image读取图片时,支持的图片格式包括 .jpg、.png 和 .jpeg,无需额外指定后缀名。
图片j1.jpg为我们自己准备好的图片,如下图:
执行上述代码进行推理,推理结果就会输出到图片j1_output.jpg中,如下图所示:
人脸识别
在完成检测的基础上,我们可以进一步实现人脸识别,通过比较目标人脸与检测结果的人脸特征向量计算相似度。以下是完整代码:
# 将人脸特征向量转换为矩阵
feats = []
for face in faces:
feats.append(face.normed_embedding)
feats = np.array(feats, dtype=np.float32)
# 提取目标人脸向量
target = ins_get_image("/tmp/code/computer_version/insightface/target")
target_faces = app.get(target) # 得到人脸信息
target_feat = np.array(target_faces[0].normed_embedding, dtype=np.float32)
# 人脸向量相似度对比
sims = np.dot(feats, target_feat)
target_index = int(sims.argmax())
rimg = app.draw_on(img, [faces[target_index]]) # 将人脸框绘制到图片上
cv2.imwrite("j1_output_target.jpg", rimg) # 保存图片
注意事项
- 目标人脸的选择
在准备目标人脸图片时,建议截取稍大范围的区域,避免仅包含人脸部分,否则可能识别失败。
其中/tmp/code/computer_version/insightface/target就是我们要识别的目标图片,如下图所示:
执行上述代码后,识别结果会保存为 j1_output_target.jpg,识别结果如下图所示:
总结
通过以上流程,我们在 PC 端初步完成了 InsightFace 的全流程操作,借助 InsightFace 提供的功能包,我们快速实现了高效的多人实时人脸识别。整个流程涵盖了环境配置、模型下载与加载以及推理测试等关键步骤,其中核心部分主要集中在人脸检测和人脸识别两个模型的使用。