【AIGC核心技术剖析】扩大富有表现力的人体姿势和形状估计SMPLer-X模型

富有表现力的人体姿势和形状估计 (EHPS) 将身体、手和面部运动捕捉与众多应用结合起来。尽管取得了令人鼓舞的进展，但当前最先进的方法仍然在很大程度上依赖于有限的训练数据集。在这项工作中，我们研究了将 EHPS 扩展到第一个通用基础模型（称为 SMPLer-X），以 ViT-Huge 作为骨干，并使用来自不同数据源的多达 450 万个实例进行训练。凭借大数据和大模型，SMPLer-X 在不同的测试基准中表现出强大的性能，并且即使在未见过的环境中也具有出色的可移植性。1）对于数据扩展，我们对 32 个 EHPS 数据集进行了系统研究，涵盖了在任何单个数据集上训练的模型无法处理的各种场景。更重要的是，利用从广泛的基准测试过程中获得的见解，我们优化了培训方案并选择了能够使 EHPS 能力实现重大飞跃的数据集。2）对于模型缩放，我们利用视觉变换器来研究EHPS中模型尺寸的缩放规律。此外，我们的微调策略将 SMPLer-X 转变为专业模型，使它们能够实现进一步的性能提升。值得注意的是，我们的基础模型 SMPLer-X 在 AGORA (107.2 mm NMVE)、UBody (57.4 mm PVE)、EgoBody (63.6 mm PVE) 和 EHF (62.3 mm PVE) 等七个基准测试中始终提供最先进的结果无需微调）。

项目完整介绍：https://caizhongang.github.io/projects/SMPLer-X/