对话上交大穆尧：具身智能Passion is all you need

作者 | 机器牛马 来源 | 自动驾驶之心

 原文链接：https://zhuanlan.zhihu.com/p/1903441192085074275 

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『具身智能』技术交流群

本文只做学术分享，如有侵权，联系删文

在ECCV 协同具身智能研讨会上斩获best paper的工作Robotwin由香港大学与上海人工智能实验室、深圳大学、中国科学院自动化研究所、松灵机器人携手共创。

RoboTwin：双臂协同机器人策略学习Benchmark，该旨在通过结合现实世界的遥操作数据与数字孪生的合成数据，为双臂机器人的研究提供强有力的支持。

一作穆尧老师现已入职上海交通大学人工智能研究院担任长聘教轨助理教授，上个月有幸参观了ScaleLab并向穆老师提出了一些有意思的问题，希望能帮助到对具身智能感兴趣的同学和从业者。

（PS：文末附有Robotwin团队出品，具身智能入门级指南）

以下是问题导览 ：

从博士研究生到老师的心路历程

1、为什么最终选择了加入上交大

2、之前作为博士研究生，现在作为老师，感受上的最大变化

3、人才培养是一个需要长期投入的过程，那在这个长期主义的过程里，你会有怎样的愿景呢？

希望加入团队的成员所具备的特质

1、对于即将加入团队的成员，你最看重哪些特质？

2、针对“激情”与“野心”，具体的表现形式是什么？

针对具身智能的答疑

1、你认为目前具身智能行业面临的主要挑战和瓶颈是什么呢，是模型的泛化性吗？

2、真实数据和仿真数据的使用，目前哪个更有优势？

3、之前大家关注的是sim2real，现在更多是real2sim2real，这个过程经历了怎样的思路变迁？

从博士研究生到老师的心路历程

1、为什么最终选择了加入交大任教？

选择交大的原因主要有两点：首先，交大的平台非常好，有优秀的生源与科研氛围。其次，交大对年轻教师的政策友好，对具身智能这个方向非常重视，给予了我很大的支持。

交大的学生非常优秀，很多同学从大一就开始进入实验室，实验室里的一些同学现在刚大三，就已经在机器人这个赛道积累了丰富的经验了。

这让我看到了之前带过的一些同学的影子，例如陈天行，他加入我的团队之前，简历上除了ACM的竞赛经历外其他都比较空白，而现在已经成长为具身智能领域的Rising Star，可以自己独当一面了。目前他已经入学港大读博，继续研究具身智能。还有陈天行的师弟陈攒鑫，现在在深大，也马上要入学做我的博士了，作为大三学生的他已经有两篇顶会了。

（他们确实很优秀，但除了自身努力，平台与指引者也很重要吧？）

我的观点是，只要自身有不错的编程基础，我的团队就能提供非常好的发展机会，这也是一种互相成就吧。

2、之前作为博士研究生，现在作为老师，你在个人感受上最大的变化是什么？

最大的感受变化是之前完全冲在科研一线，精力更多放在了个人的研究方向上。而自从成为老师后，我的角色发生了很大转变，侧重点也不一样了，人才培养变成了更重要的事情。

但相应的，一线科研对我的要求也提高了，过往我更多专注在自己的一作paper上。现在，学生们通常是一作，而我作为通讯作者，需要将精力分散到多篇文章上。工作重点变成了为每个人提供有效指导，并协调不同研究方向的资源。这让我突然意识到自己已经变成了一个需要承担更多责任的角色。

为了适应这个新角色，我补充了很多新知识，学习了很多新方法和思路。比如，如何吸引优秀人才加入我们的团队，我们就举办了开放日活动，这些都是我从其他地方学来的经验。我特别重视从大一大二就开始培养人才，即使他们一开始可能比较稚嫩，但只要对机器人感兴趣、有热情，经过一两年的培养，我相信他们一定能成长为领袖级的人物。

从一线博士生到教师，虽然仍在搞研究，但在科研方向的把握上会更为重要，并为不同想法提供指导，让身边的人能够一起努力。特别是在团队中，资源有限的情况下，如何让每个人都感到开心，这一点非常重要，也是我正在努力的方向。

3、关于人才培养，我完全认同你的观点。就像做科研一样，人才培养也是一个需要长期投入的过程，那在这个长期主义的过程里，你会有怎样的愿景呢？

我想特别强调一个理念，这也是我在香港的实验室一脉相承传承下来的：尽可能把同学们托举到更高更广阔的舞台上，让大家能够大展拳脚。我们培养本科生和研究生的目的，并不是一定要让他们留在交大或我们的实验室。我们更希望他们能在更广阔的天地里施展才华，为社会做出贡献。

比如我们实验室的一位实习生，从大一开始就在实验室工作，现在大三了，能力已经相当出色。我很想把他推荐到海外的一些顶尖高校，比如“计算机四大”，这样也能帮助我们建立更深层次的合作关系。也是所谓“开枝散叶”的理念。

希望加入团队的成员所具备的特质

1、对于即将加入我们团队的成员，你最看重哪些特质呢？

我最看重的是Passion，比如陈天行就很有激情，团队里的其他同学也都有这种朝气蓬勃的感觉。他们都有强烈的意愿去完成一件事情，既有很强的证明自己的能力，也有坚定的信念，希望做出有影响力的成果。

我希望团队成员既有激情，又有野心。很多同学刚加入团队就会问：“老师，我们课题组要求多少工时？要求多少篇文章才能毕业？”其实我不会在这方面卡得很死，反而更希望看到他们主动追求卓越。

那些既有野心又有热情的同学，往往会主动来询问我的研究愿景。他们会问：“您想做成什么样的事？“ 并告诉我他想做成什么样的事，再看我们是否志同道合，这一点非常重要。只要对于科研的愿景与想法是一致的，哪怕长期目标不同，比如有的同学想创业，有的同学想在学术领域持续发展，将来成为教授，我都是支持的。

此外，还有一个稍微必备的、相当于门槛的东西，就是基础的算法能力和编程能力，这其实是工程能力。如果是一个本科同学，他可能不是学计算机出身的，当然也有很多是相关大类的学生。比如我自己的本科专业也不是计算机，但只要你对机器人感兴趣，我们其实也提供了非常完备的入门级参考教程

2、针对“激情”与“野心”，具体的表现形式是怎样呢？

我认为是主人翁意识，以我自己为例。做博士的时候，我遇到并克服了很多困难。那时，组里没有做机器人的基础，我可以说是在仿真器里白手起家。当仿真器不满足要求，需要做真机时，我勇敢地走出了第一步。

去年，我在中国具身智能大会上受邀做了一个报告。认识了松灵机器人的负责人谢志强。当时他正好在搞一个数据联盟，我就跟他聊起了做机器人这件事。谢总非常支持我，不仅提供了本体，还邀请我去他深圳的公司做实验。这对我来说真是雪中送炭，可以说扶我于危难之际（笑）。

RoboTwin这个项目虽然最终成为了非常有影响力的工作，但起步时非常艰难。那时组里既没有机器人，也没有经费。但我一直积极寻找机会，不怕困难。这种态度让我在遇到问题时，能够很好地解决它们。

而在这个过程支撑我走下去的就是我想强调的主人翁意识。我把自己当成实验室的主人，代表香港大学与谢总谈了很多合作。如果遇到问题，比如没有经费或机器，我不会只是报给导师，然后等待。因为申请经费可能需要三四个月，导师也可能因为忙碌而无法及时处理。所以，我选择主动出击，积极解决问题。

回到实验室现在的情况，我的原则是，一旦选择与产业界的公司合作，就希望建立起很紧密的合作关系。我并不太在意横向项目的金额等问题，但我对合作方的要求是，在我们遇到任何工程问题时，他们必须提供支持。我不希望学生过多去做特别工程化的东西，那这时主人翁意识就很重要了。比如，当机器人在某个地方调试不通时，学生可以直接去我拉好的群里，与工程师交流，寻求帮助，而不是等到组会时才告诉我，我再抽空去与机器人公司沟通，这样效率会很低。

我现在刚入职交大，甚至一些手续都还未完全办妥，但已有不少公司愿意与我合作。这得益于我在博士期间就以主人翁的姿态，主动与各方洽谈合作，甚至为实验室争取到了许多合作机会。因此，我坚信，无论是学术界还是产业界的职业发展，往往源于从一开始就运用主人翁意识，积极主动地调动自身能动性去经营。

针对具身智能的答疑

1、刚才我们主要聊了你从博士生到老师的转变心路历程。现在，让我们把话题转回embodied AI行业。你认为目前行业面临的主要挑战和瓶颈是什么呢，是模型的泛化性吗？

谈到行业挑战和瓶颈，我认为需要从短期和长期两个维度来看。从长期来看，泛化性问题可能需要海量的真实数据和多样化的场景数据来解决。但关于泛化性，这已经是一个被广泛讨论的挑战，所以我不想过多重复。走进千家万户确实对泛化性提出了很高的要求，但目前还没有哪个模型能够真正做到这一点。这是一个共性问题，也是一个长期问题，大家都在积极寻找解决方案，并且普遍认同需要提供更多数据来支持。

而短期内，我们正在着力解决的是执行效率问题。目前的算法尚未达到能够替代人力的水平，因此在这一方面，算法的发展仍有很大的提升空间。

目前很多算法虽然能够成功运行，但就像“老太太”一样不够丝滑。这样的算法部署在生产线上，并不能产生很大的效益，成为了制约行业发展的一个重要因素。

执行效率低下的主要原因在于算法与专家数据之间存在差距。专家数据通常来自遥操作，这相当于让人类去适应机器。即使是最先进的算法，与专家数据相比仍然存在一定差距，而且在模型部署的过程中，这一差距会被进一步放大，这也是机器人操作显得不够流畅的主要原因。

我们目前正在尝试将强化学习融入系统，采用自进化的方式。这个方向其实已经有不少团队在探索，大家都认为这是一个很有前景的领域。从我们的观察来看，已经取得了一些不错的实验结果，能够使动作变得更加利索和高效。

另一个问题是，目前的末端执行器（灵巧手）还不够灵巧。从硬件角度来看，末端执行器的灵活性仍然不足。虽然市面上有众多产品，但无论是哪一款，在可靠性和灵活性方面都还有提升空间。这一领域的发展潜力巨大，值得深入探索。

同时我注意到越来越多的创业公司专注于触觉感知和数据采集这两个方向。这也是一个值得关注的发展趋势。

即使从中长期来看，关于泛化性问题，其实并没有想象中那么难以解决。举个例子，比如王鹤老师团队在仿真环境中使用数百万数据生成的模型，他们的泛化性就做得很好。我们也在进行类似的数据生成工作，包括场景的多样化处理。比如目前我们就在测试不同纹理、大小和高矮的桌子，以及150类物体的丰富3D场景。

虽然泛化性问题被普遍认为是行业挑战，但我们通过不断优化数据生成和场景构建，正在逐步缩小这个差距。

2、真实数据和仿真数据的使用，目前哪个更有优势呢？

关于仿真数据，必须提到生成式AI的迅猛发展，为具身智能的泛化性带来了巨大的机会。这是一种非常有前景的方法，我们可以用低成本的方式生成仿真环境中的各种数据。例如王鹤老师的研究就是基于纯仿真环境生成的数据，虽然现阶段还有很多问题没有解决，但依然能看到未来广阔的发展空间。

举个例子，假设你要建一个真机数采厂，你能采集多少条数据呢？也就那么几个样板间，2000㎡的空间又能放下几间样板间呢？所以，数据生成的方式和效率至关重要。

在真实世界中，样板间的数量有限，但在仿真环境中，我可以轻松创建成千上万种不同的房间场景。得益于视频生成技术的飞速发展，即使这些场景在现实中并不存在，也能在仿真中呈现出极其逼真的效果。这意味着，我可以在仿真中体验到比现实世界更加丰富的场景。

真实数据的好处在于：首先，它完全来源于真实世界；其次，它是机器人实际执行成功的数据。因此，这方面的数据质量非常高。此外，它更接近人类操作的数据。然而，真实数据的缺点也很明显：第一，缺乏多样性，一旦环境变化，数据可能就不再适用；第二，人类操作实际上是在适应机器，受限于硬件条件。

相比之下，仿真数据的优势在于拥有“上帝视角”。我们可以全面了解物体的所有信息，从而基于更优的方法进行规划和生成。从规控的角度来看，这种数据质量更高，更易于机器学习。因此，这两种数据并不冲突，而是非常互补的。

用四个字来总结我的观点，那就是“虚实贯通”，这也是未来的一个主要发展方向。

最终，我们需要开发一套算法，能够将这两种特质的数据完美融合，使其真正发挥作用。这正是我目前正在努力实现的目标。

3、之前大家关注的是sim2real，现在更多是real2sim2real，这个过程经历了怎样的思路变迁呢？

其实原因非常简单，就是仿真做得不够真。大家之前都在仿真里做了很多尝试，但解决得都不尽如人意。得益于新技术包括3D高斯的发展，使得这一切成为可能，之前只用Nerf的时候没有人提real2sim2real这个东西。

但自从3D高斯技术问世以来，大家都在讨论它为什么如此实用，与之前的技术相比，它最大的优势在于实时性。比如，我只需拍摄8张照片，就能对整个场景进行3D高速重建，并且实现实时渲染。在仿真环境中，我们可以做得更加真实，因此，大家自然会选择从sim2real到real2sim2real的路线，以提升逼真度。毕竟，谁愿意在一个虚假的环境中浪费时间呢？大家都明白这一点，所以这种技术演变是非常自然的。

自动驾驶之心

论文辅导来啦

知识星球交流社区

近4000人的交流社区，近300+自动驾驶公司与科研结构加入！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎加入。

独家专业课程

端到端自动驾驶、大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网：www.zdjszx.com