明敏 克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
马斯克部下跳槽，把人形机器人技术开源了。不少创业公司的估值，一夜被打了骨折。
最新成果已正式发布——
它能像大白(●—●)一样，听懂并正确执行人类发出的指令，比如放杯子、拿水果。
可以自己打开笔帽，在白板上写名字。
或者是叠衣服。
把钥匙准确插进锁眼。
这些操作，全都是机器人自己搞定。没有人远程操控，完全端到端实现。
最关键的是，它使用的算法、数据集完全开源！
这意味着，你完全可以在家自己改造一个小机器人，让它完成同样的事。
如上进展，来自Hugging Face今年新成立的机器人项目Le Robot。
团队领军人物Remi Cadene(雷米·卡德内)，1月才从特斯拉Optimus机器人团队离职，才过了几个月就带来如上新成果。
这立马引发业内关注，谷歌DeepMind科学家都来围观表示：
开源哆啦A梦才是出路嘛。
网友们更是amazing刷屏了。
所以，这个开源机器人，究竟如何而来？
训练只用2个小时
完成这些动作的，是花粉机器人公司最新的机器人Reachy2。
不过，Reachy2并不是一开始就实现自主操作的，而是先经历了一段遥控操作的过程。
该阶段中，开发人员会佩戴VR装备，控制机器人完成一系列任务。
VR遥控的过程被记录成了50段视频，每段约15秒，与Reachy2机器人内的不同传感器相关联。
这些视频成为了ML算法的学习素材，用于研究如何自行完成并指导Reachy2完成一系列任务。
训练一共持续了2个小时，之后作者测试了所有的checkpoint，发现机器人果然学习到了新的概念——
在2万步时，它学会了将杯子可靠地放在碗碟架上；
在4万步时，它学会了旋转底座并交出苹果；
在6万步时，它学会了旋转手臂回到初始位置。
这其中的数据集和使用的模型，现在都已开源，就连VR操作时用的程序，也同样是开源的。
在抱抱脸上，Reachy训练用的50段视频都可以直接下载，开源框架和工具也放在了GitHub。
包括机器人ML框架LeRobot，采用了Apache-2.0协议，可免费商用，据作者称达到了SOTA水准，在GitHub上已经斩获了3.4k+星标。
LeRobot基于PyTorch实现，包括了预训练模型、人工采集的数据集，还有一套模拟环境，无需真实的机器人硬件也能观察效果。
值得一提的是，斯坦福知名开源机器人项目ALOHA中的数据，也被囊括进了其中。
此外，Reachy2机器人还用到了华人软件工程师、开源AI解决方案平台1ms.ai创始人Haixuan Xavier Tao开源的面向数据流的机器人应用DORA。
除了用DORA帮助HuggingFace完善机器人框架，1ms.ai还曾帮助清华大学完成了一套机器人工程的教程。
说回DORA，它提供了低延迟、可组合和分布式数据流功能，可以简化机器人程序的创建，目前已获1.2k星标。
DORA的目标是将硬件、算法和人工智能模型结合在一起，并使它们相互通信，让硬件和软件的集成变得容易。
DORA提供了Python、Rust、C/C++等多种语言版本，其中在Python上速度比ROS2快了17倍。
在Python上，DORA还具备热重载功能，意味着可以在运行过程中也可以随时修改Python代码。
未来，如果把检索增强生成（RAG）技术和热重载功能结合，还能创建出自编码机器人，根据提示自动生成代码。
作者表示，有了LeRobot和Dora，自己在家也能复刻出一个Reachy2的小号仿品。
把具身智能成本打下来
那么，这个机器人价格到底多少呢？这还是大家最关注的问题。
其实主要取决于硬件。
作者雷米表示，目前能接入LeRobot最便宜的机械臂，只需250美元（折合人民币约1800元）。
目前展示的这款Reachy2，价格还没公布，参考它的上一代，起售价为9750美元（折合人民币约7万元）。
有网友表示，看来几年内把机器人助手价格打到5000美元以内有希望了（大约3.6万，不到一辆车的价格）。
这也是为啥Hugging Face入局具身智能会引发轰动的关键所在。
要知道，具身智能研发成本一直居高不下，这个火爆赛道如今已经吸金几十亿。
而将所有算法数据集开源，意味着人形机器人的成本（起码在软件算法层面）大幅降低，会给业内其他布局机器人领域的玩家带来不小压力。
与此同时，Hugging Face还挖来了一流工程师。
领衔项目的Remi Cadene（雷米·卡德内）曾是特斯拉Autopoilot和Optimus机器人研究项目的成员。
入职时雷米还调侃了OpenAI，表示要做真正意义上的开源。
具体动作上，雷米的脚步走得也确实很快。上个月刚刚发布了Le Robot开源代码库，如今首个具身智能成果也来了。
不过能快速在人形机器人上部署训练，也少不了花粉机器人公司出力。
这是一家来自法国的机器人公司，他们也强调开源理念。在2013年发布了据称是第一个开源的3D打印机器人。
此前已经推出了开源全遥控机器人Reachy1。
雷米介绍，在Hugging Face团队正留意人形机器人硬件时，花粉机器人这边也在找端到端方案，所以两家一拍即合。
而且还有地理上的优势，他们的办公地点相隔只有2小时的路程。
所以我们只是去拜访了他们几天而已。
从目前雷米透露的动向来看，他们还会开源一系列工作，比如语音命令控制等，大家可以期待一下。
By the way，Hugging Face最近正在招人哦，岗位是Post-Sales Machine Learning Solutions Engineer - Asia Remote，感兴趣的童鞋可以尝试下~
参考链接：
[1]https://venturebeat.com/ai/hugging-face-and-pollen-robotics-show-off-first-project-an-open-source-robot-that-does-chores/
[2]https://twitter.com/Thom_Wolf/status/1799008162772836355
[3]https://x.com/RemiCadene/status/1744248877811646853
— 完 —
量子位年度AI主题策划正在征集中！
欢迎投稿专题 一千零一个AI应用，365行AI落地方案
或与我们分享你在寻找的AI产品，或发现的AI新动向
点这里👇关注我，记得标星哦～
7
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
