本文分享一款可以跑在手机上的3d姿态估计网络。
效果图:
算力3.92GFLOPS,而且平均每关节位置误差(MPJPE),也只有大约5厘米。
用的TensorFlow平台开发,开源了onnx模型。
输入是目标检测后的人体图,人体检测用的yolov5。
网络结构:编码器-解码器
在编码器用于全局特征提取,而解码器进行姿态估计的基础架构,研究团队对其主干网络、激活函数,以及Skip concatenation功能都进行了修改。
他们在MobileNetV2的前四个倒置残差块(Residual Block)处修改了通道大小,获得了性能提升。
激活函数用的PReLU。
MobileNetV2在一般场景中的性能都更好,且在少数场景中取得了最佳性能:
在模型效率上,MobileNetV2的大模型效率为2.24M/3.92GFLOPS,远超同类模型的13.0M/10.7GFLOPS(Zerui Chen)。
论文:
htt