清华大学孙富春教授团队开发了多模态数字孪生环境，辅助机器人获得复杂的 3C 装配技能

中国是全球3C产品（电脑、通信和消费电子）的主要生产国，全球70%的3C产品产能集中在中国。3C智能制造装备的突破与产业化，对于提升我国制造产业的全球竞争力意义重大。
机器人在计算机、通信和消费电子 （3C） 装配中的应用有可能显著降低劳动力成本并提高装配效率。然而，3C组装中的许多典型场景，如柔性印刷电路（FPC）的组装，涉及复杂的操作，具有长跨度的步长和高精度要求，无法通过手动编程或传统的技能学习方法有效完成。

https://ieeexplore.ieee.org/document/10492985?source=authoralert

为了应对这一挑战，清华大学孙富春教授团队提出了一个基于学习的框架，用于在多模态数字孪生环境的辅助下获得复杂的 3C 装配技能。

首先，我们基于现实世界的对应物构建一个完全等效的数字孪生环境，配备视觉、触觉力和本体感觉信息，然后使用虚拟现实（VR）设备收集多模态演示数据。

接下来，我们通过对演示数据的多模态技能解析来构建技能知识库，从而生成实现3C装配任务的原始策略序列。

最后，我们通过课程学习、残差强化学习和领域随机化方法的组合来训练原始策略，并将所学技能从数字孪生环境转移到现实世界环境中。通过实验验证了所提方法的有效性。