论文速读|基于头戴式传感器的实时模拟化身技术

项目地址：Real-Time Simulated Avatar from Head-Mounted Sensors

总结：
Zhengyi Luo 及其团队提出了 SimXR，一种从 AR/VR 头显传感器中实时模拟人形化身的方法，该方法结合了头显姿态和相机数据，并通过物理定律和图像分析来生成合理的动作。

摘要：
SimXR 是一种创新的技术，用于控制由 AR/VR 头显（如 Quest 2）获取的信息（头显姿态和相机数据）生成的模拟化身。该方法克服了传统基于图像的自身姿态估计方法面临的挑战性视角问题，通过结合头显姿态和相机数据，SimXR 能够在全身运动可见时通过图像指导手和脚的动作，在不可见时则依赖物理定律生成合理的运动。SimXR 采用端到端的学习方法，直接从图像和头显姿态映射到人形控制信号，无需任何中间表示。为了训练该方法，研究团队还提出了一个大规模的合成数据集，该数据集与 Quest 2 VR 头显的相机配置兼容，并在现实世界的捕获上展示了有前景的结果。此外，该框架还在带有前置相机的 AR 头显上进行了测试，以证明其适用性。研究还包括了对现实世界序列、合成数据、与最先进技术（SOTA）的比较以及失败案例的可视化。

论文初读：