表情捕捉 MobileNetV3 人脸表情捕捉

目录

基于MobileNetV3的人脸表情捕捉-加速

加速库 onnx/tensorRT 说明

---

GitHub - LeeeLiu/SpeedUpVideoCap: 面部表情捕捉。输入2D人脸，输出3D几何动画。

基于MobileNetV3的人脸表情捕捉-加速

加速库 onnx/tensorRT 说明

1. onnx/tensorRT都是nVidia的开源加速库，到目前（2021.7.12）为止，它们只能加速inference，不能加速training。
2. onnx支持CPU或GPU。到目前（2021.7.12）为止，tensorRT仅支持GPU。
3. tensorRT加速原理：操作合并+降低精度。详情

 

1. 测试onnx,tensorRT对faceBox和llfr的加速情况

   • 测速时

     • python demo.py --check-face=no --id 4 --h 480 --w 270 --input-path=test_clip.mp4

   • 验证人脸识别有没有受到影响，保存图片和视频

     • python demo.py --check-face=yes --id 4 --h 480 --w 270 --input-path=test_clip.mp4

   • 验证加速之后，是否影响重建性能

     • --checkMSE=yes

   • 修改输出维度

     • --num-class=57

   • 更多命令见

     • sh experimentGPU.sh

   • 注意事项

     • 如果提示timeStamp没有声明就引用，则说明人脸没有被识别到。调换--h和--w顺序试一试。

2. 其它

   • 摄像头实时捕捉 python demo.py --mode=webcam
   • 同时保存视频与fbx动画 python demo.py --mode=webcam --save-video=True --save-fbx=True
   • 视频输入 python demo.py --mode=video --input-path=benchmark/benchmark_0.mp4
   • 同时保存转码视频与fbx动画 python demo.py --mode=video --input-path=xxx.mp4 --save-video=True --save-fbx=True
   • 图片输入(暂时未实现) python demo.py --mode=image --input-path=xxx.mp4