这是机器人界的 Llama?
靠 100 条轨迹数据,在 Mac 上训练几个小时,就能拥有一个可以抓取乐高积木的机械臂,这是 HuggingFace 机器人科学家 Remi Cadene 晒出的一个实例。机器人的门槛可能并没有想象中那么高。
Remi Cadene 之前是特斯拉人形机器人 Optimus(擎天柱)项目的成员,3 月份被挖去 HuggingFace,领导一个新的开源机器人项目 ——LeRobot,当时引发了一些轰动。
LeRobot 基于有史以来最大规模的众包机器人数据集,它的代码库堪称机器人领域的「Transformers」。Cadene 在 X 上表示:「人工智能发展的下一步是将其应用于我们的物理世界。因此,我们正在推动社区共同努力构建 AI 机器人,这对所有人开放!」
如今,Cadene 和他的新同事正在兑现这一承诺。前段时间,他们发布了 DIY 机器人的深入教程,从硬件 DIY 手册到 Jupyter 笔记本应有尽有。
教程链接:https://github.com/huggingface/lerobot/blob/main/examples/7_get_started_with_real_robot.md
youtube 上还有大量的视频教程可供参考:
视频链接:https://www.youtube.com/@HuggingFace/videos
可以说,只要按照教程操作,你在 Mac 或 PC 上训练几个小时,也能拥有一个可以抓取乐高积木的机械臂。
或者,让它给你叠衣服:
具体来说,这个教程主要解答了以下问题:
1、如何订购和组装你的机器人;
2、如何连接、配置和校准你的机器人;
3、如何记录和可视化你的数据集;
4、如何使用你的数据来训练策略并准备评估;
5、如何评估你的策略并可视化结果。
该教程主要基于一种开源、价格友好的机器人套件 Koch v1.1 编写,不过也可以通过改变配置轻松适应各种类型的机器人。
Koch v1.1 由一个主导臂和一个从动臂组成,每个臂有 6 个电机。它可以和一个或多个摄像头一起工作来记录场景,这些摄像头被用作机器人的视觉传感器。在数据采集阶段,你将通过移动主导臂来控制从动臂。这个过程被称为「遥操作」。这种技术用于收集机器人轨迹。之后,你将训练一个神经网络来模仿这些轨迹,并部署网络以使你的机器人能够自主操作。
订购、组装你的 Koch v1.1
第一步是采购零件和组装,这步有一个 Koch v1.1 Github 页面可以参考。
Github 链接:https://github.com/huggingface/lerobot/blob/main/examples/7_get_started_with_real_robot.md
这个页面上包含一个详细的零件采购清单(作者表示,目前他们只找到了美国、欧盟和英国的购买链接,如果读者可以找到中国、印度等其他国家的购买链接,欢迎补充进去):
主导臂零件采购参考清单。
从动臂零件采购参考清单。
有些零件可能需要 3D 打印,该页面也给出了详细的操作指南。
在零件全部到位后,你可以按照以下视频的指引进行安装。
视频链接:https://www.youtube.com/watch?v=8nQIg9BwwTk
组装完的两个机械臂长这样:
接下来,使用 5V 电源为主导臂供电,使用 12V 电源为从动臂供电。此外,使用 USB-C 电缆将每个臂连入计算机。
配置电机,校准机械臂,远程操控你的 Koch v1.1
Koch v1.1 的配置可以参考以下视频:
视频链接:https://www.youtube.com/watch?v=U78QQ9wCdpY
校准则参考另一个视频:
视频链接:https://www.youtube.com/watch?v=8drnU9uRY24
Github 页面也介绍了 Koch v1.1 所需的附加依赖项的安装以及机械臂的连接、校准方法。控制部分则分为以下步骤介绍:
1、使用 DynamixelMotorsBus 控制电机;
2、使用 DynamixelMotorsBus 远程操作 Koch v1.1;
3、使用 OpenCVCamera 添加相机;
4、使用 koch. yaml 和 teleoperate 函数
每部分都有详细的说明和代码可以参考。
记录你的数据集并将其可视化
这一步旨在录制你的第一个训练集。作者建议从简单的动作开始来验证你的设置,例如在五个位置抓取物体,并为每个位置记录 10 条轨迹。
这一步同样有视频可以参考:
视频地址:https://www.youtube.com/watch?v=n_Ljp_xuFEM
作者表示,你还可以使用以下自定义工具在本地或在线可视化任何数据集:
工具地址:https://huggingface.co/spaces/cadene/visualize_dataset_train
Github 教程涉及以下内容:
1、使用 koch. yaml 和 record 函数;
2、对于记录数据集的建议;
3、可视化所有 episode;
4、使用 replay 函数在你的机器人上 replay episode。
用你的数据训练一个策略
这部分主要介绍了如何训练神经网络来控制机器人。主要步骤如下:
1、使用训练脚本;
2、将策略检查点上传到 hub。
值得庆幸的是,策略的训练不需要特别昂贵的设备,在 PC 或 Mac 上跑几个小时就能训练出来。而且无需模拟。
评估策略
在评估部分,作者也给出了完整的视频教程:
视频地址:https://www.youtube.com/watch?v=Il3Kt8vqpI8
作者表示,这个项目的精妙之处在于,如果每个人都能记录下自己的数据集并在 hub 上共享,那么大家都将能够训练出具有无与伦比的感知世界以及采取行动能力的 AI!这项新技术将推动下一次社会和工业革命。
目前,LeRobt 的开源已经产生了一定的影响力。
Cadene 透露,他们正在开发一款更实惠的机器人。这款机器人不需要 3D 打印,总共花费 150 美元(2 个机械臂)名叫 Moss V1。
此外,他们还将开源一款更强大的机器人,这个机器人可以使用 5 个手指的手作为末端执行器。
他相信开源社区的力量可以推动机器人领域快速发展。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。