TPAMI 2024 | SMPLer: 驾驭Transformer 用于单目 3D 人体形状和姿态估计

题目：SMPLer: Taming Transformers for Monocular 3D Human Shape and Pose Estimation

SMPLer: 驾驭Transformer 用于单目 3D 人体形状和姿态估计

作者：Xiangyu Xu; Lijuan Liu; Shuicheng Yan

---

摘要

神经辐射场（NeRF）在新视图合成方面表现出了巨大的成功。然而，由于潜在的校准信息不完善和场景表示不准确，现有的基于 NeRF 的方法在从现实世界场景中恢复高质量细节方面仍然面临挑战。即使使用高质量的训练帧，NeRF 模型生成的合成新视图仍然存在明显的渲染伪影，如噪声和模糊。为了解决这个问题，我们提出了 NeRFLiX，一种学习降解驱动的视点间混合器的通用 NeRF-无关恢复范式。特别地，我们设计了一种 NeRF 样式的降解建模方法并构建了大规模的训练数据，使得深度神经网络能够有效地去除 NeRF 原生的渲染伪影。此外，除了降解去除外，我们还提出了一种视点间聚合框架，该框架融合了高度相关的高质量训练图像，将最先进的 NeRF 模型的性能推向了新的水平，并生成高度逼真的合成视图。在此基础上