（七）lerobot开源项目so100新版本全流程操作（操作记录）

已于 2025-04-08 19:58:32 修改
阅读量644 收藏 13
点赞数 23
分类专栏： lerobot实践 文章标签： 开源 人工智能 机器人 ubuntu
于 2025-04-08 19:22:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ou1531037815/article/details/147060891
版权

目录

《项目简介》

一、环境配置

1、创建虚拟环境 

2、克隆项目并安装所需包 

二、主从臂硬件准备

1、舵机配置

（1）分别查看主从臂的开发板端口号 

（2）分别设置主从臂的舵机 

2、组装主从臂

3、查看主从臂端口号和相机端口号

4、修改配置文件

5、主从臂校准

三、模型训练（在线采集数据）

1、前提准备

（1）激活环境 

（2）登录huggingface 

2、设置硬件权限并进行测试

3、采集数据

4、数据查看&动作复现

5、加载huggingface数据进行模型训练

四、模型测试

1、前提准备

（1）激活环境 

（2）登录huggingface  

2、设置硬件权限并进行测试

3、加载权重进行模型测试 

<<<<<项目环境建议：纯Linux或双系统的Linux环境，慎用虚拟机的Linux环境>>>>>

《项目简介》

项目地址：GitHub - huggingface/lerobot: 🤗 LeRobot: Making AI for Robotics more accessible with end-to-end learninghttps://github.com/huggingface/lerobot

可直接进入 full tutorial for SO-100，按照流程操作

一、环境配置

1、创建虚拟环境 

conda create -y -n lerobot python=3.10
conda activate lerobot

2、克隆项目并安装所需包 

git clone https://github.com/huggingface/lerobot.git ~/lerobot
cd lerobot && pip install -e ".[feetech]"
conda install -y -c conda-forge ffmpeg
pip uninstall -y opencv-python
conda install -y -c conda-forge "opencv>=4.10.0"

 注：出现报错可能需要安装的包

cd lerobot && pip install -e .
sudo apt-get install git-lfs
git lfs install
conda install -c conda-forge jpeg libtiff
pip install pynput==1.7.7

 注：解决Unknow encoder libsvtav1的报错

/lerobot/lerobot/common/datasets/video_utils.py的134行左右，将libsvtav1修改为vcodec: str = "libopenh264"

二、主从臂硬件准备

1、舵机配置

（一）lerobot开源项目的舵机配置（操作记录）-CSDN博客https://blog.csdn.net/ou1531037815/article/details/144098305

（1）分别查看主从臂的开发板端口号 

python lerobot/scripts/find_motors_bus_port.py

（2）分别设置主从臂的舵机 

sudo chmod 777 /dev/ttyACM0
sudo chmod 777 /dev/ttyACM1
python lerobot/scripts/configure_motor.py \
  --port /dev/ttyACM0 \
  --brand feetech \
  --model sts3215 \
  --baudrate 1000000 \
  --ID 1                   <-- UPDATE HERE

ID：1-6

2、组装主从臂

3、查看主从臂端口号和相机端口号

python lerobot/scripts/find_motors_bus_port.py
sudo chmod 777 /dev/ttyACM0
sudo chmod 777 /dev/ttyACM1
python lerobot/common/robot_devices/cameras/opencv.py \
    --images-dir outputs/images_from_opencv_cameras

4、修改配置文件

/lerobot/lerobot/common/robot_devices/robots/configs.py，修改四处地方：<-- UPDATE HERE

@RobotConfig.register_subclass("so100")
@dataclass
class So100RobotConfig(ManipulatorRobotConfig):
    calibration_dir: str = ".cache/calibration/so100"
    # `max_relative_target` limits the magnitude of the relative positional target vector for safety purposes.
    # Set this to a positive scalar to have the same value for all motors, or a list that is the same length as
    # the number of motors in your follower arms.
    max_relative_target: int | None = None

    leader_arms: dict[str, MotorsBusConfig] = field(
        default_factory=lambda: {
            "main": FeetechMotorsBusConfig(
                port="/dev/ttyACM0",                          <-- UPDATE HERE
                motors={
                    # name: (index, model)
                    "shoulder_pan": [1, "sts3215"],
                    "shoulder_lift": [2, "sts3215"],
                    "elbow_flex": [3, "sts3215"],
                    "wrist_flex": [4, "sts3215"],
                    "wrist_roll": [5, "sts3215"],
                    "gripper": [6, "sts3215"],
                },
            ),
        }
    )

    follower_arms: dict[str, MotorsBusConfig] = field(
        default_factory=lambda: {
            "main": FeetechMotorsBusConfig(
                port="/dev/ttyACM1",                          <-- UPDATE HERE
                motors={
                    # name: (index, model)
                    "shoulder_pan": [1, "sts3215"],
                    "shoulder_lift": [2, "sts3215"],
                    "elbow_flex": [3, "sts3215"],
                    "wrist_flex": [4, "sts3215"],
                    "wrist_roll": [5, "sts3215"],
                    "gripper": [6, "sts3215"],
                },
            ),
        }
    )

    cameras: dict[str, CameraConfig] = field(
        default_factory=lambda: {
            "laptop": OpenCVCameraConfig(
                camera_index=2,                          <-- UPDATE HERE
                fps=30,
                width=640,
                height=480,
            ),
            "phone": OpenCVCameraConfig(
                camera_index=4,                          <-- UPDATE HERE
                fps=30,
                width=640,
                height=480,
            ),
        }
    )

    mock: bool = False

5、主从臂校准

（1）校准从臂

python lerobot/scripts/control_robot.py \
  --robot.type=so100 \
  --robot.cameras='{}' \
  --control.type=calibrate \
  --control.arms='["main_follower"]'

（2）校准主臂

python lerobot/scripts/control_robot.py \
  --robot.type=so100 \
  --robot.cameras='{}' \
  --control.type=calibrate \
  --control.arms='["main_leader"]'

（3）遥操验证

python lerobot/scripts/control_robot.py \
  --robot.type=so100 \
  --robot.cameras='{}' \
  --control.type=teleoperate
python lerobot/scripts/control_robot.py \
  --robot.type=so100 \
  --control.type=teleoperate

三、模型训练（在线采集数据）

1、前提准备

（1）激活环境 

conda activate lerobot
cd lerobot

（2）登录huggingface 

开启clash，再设置linux命令行代理

解决Linux访问HuggingFace的问题（操作记录）https://blog.csdn.net/ou1531037815/article/details/144570497

export http_proxy=http://127.0.0.1:7890
export https_proxy=http://127.0.0.1:7890

 用个人申请的Access Tokens代替${HUGGINGFACE_TOKEN}

huggingface-cli login --token ${HUGGINGFACE_TOKEN} --add-to-git-credential
HF_USER=$(huggingface-cli whoami | head -n 1)
echo $HF_USER

2、设置硬件权限并进行测试

sudo chmod 777 /dev/ttyACM0
sudo chmod 777 /dev/ttyACM1
python lerobot/scripts/control_robot.py \
  --robot.type=so100 \
  --control.type=teleoperate

测试硬件连接没问题就可以关掉 control_robot.py

3、采集数据

首先，新建一个叫“so100_test_v2”的本地数据集，并将该数据集上传到huggingface（第一次操作即可）

python lerobot/scripts/control_robot.py \
  --robot.type=so100 \
  --control.type=record \
  --control.fps=30 \
  --control.single_task="Pick up the white toy tiger and place it into the plate." \
  --control.repo_id=${HF_USER}/so100_test_v2 \
  --control.tags='["so100","tutorial"]' \
  --control.warmup_time_s=5 \
  --control.episode_time_s=15 \
  --control.reset_time_s=5 \
  --control.num_episodes=1 \
  --control.push_to_hub=true

 然后，在现有的本地数据集上继续录制，并将数据集也同步上传到huggingface（后续操作）

python lerobot/scripts/control_robot.py \
  --robot.type=so100 \
  --control.type=record \
  --control.fps=30 \
  --control.single_task="Pick up the white toy tiger and place it into the plate." \
  --control.repo_id=${HF_USER}/so100_test_v2 \
  --control.tags='["so100","tutorial"]' \
  --control.warmup_time_s=5 \
  --control.episode_time_s=15 \
  --control.reset_time_s=5 \
  --control.num_episodes=4 \
  --control.push_to_hub=True \
  --control.resume=true

4、数据查看&动作复现

python lerobot/scripts/visualize_dataset_html.py \
  --repo-id ${HF_USER}/so100_test_v2
python lerobot/scripts/control_robot.py \
  --robot.type=so100 \
  --control.type=replay \
  --control.fps=30 \
  --control.repo_id=${HF_USER}/so100_test_v2 \
  --control.episode=0

5、加载huggingface数据进行模型训练

python lerobot/scripts/train.py \
  --dataset.repo_id=${HF_USER}/so100_test_v2 \
  --policy.type=act \
  --output_dir=outputs/train/act_so100_test_v2_act \
  --job_name=act_so100_test_v2_act \
  --policy.device=cuda \
  --wandb.enable=false

四、模型测试

1、前提准备

（1）激活环境 

conda activate lerobot
cd lerobot

（2）登录huggingface  

 开启clash，再设置linux命令行代理

解决Linux访问HuggingFace的问题（操作记录）https://blog.csdn.net/ou1531037815/article/details/144570497

export http_proxy=http://127.0.0.1:7890
export https_proxy=http://127.0.0.1:7890
huggingface-cli login --token ${HUGGINGFACE_TOKEN} --add-to-git-credential
HF_USER=$(huggingface-cli whoami | head -n 1)
echo $HF_USER

2、设置硬件权限并进行测试

sudo chmod 777 /dev/ttyACM0
sudo chmod 777 /dev/ttyACM1
python lerobot/scripts/control_robot.py \
  --robot.type=so100 \
  --control.type=teleoperate

测试硬件连接没问题就可以关掉 control_robot.py 

3、加载权重进行模型测试 

python lerobot/scripts/control_robot.py \
  --robot.type=so100 \
  --control.type=record \
  --control.fps=30 \
  --control.single_task="Pick up the white toy tiger and place it into the plate." \
  --control.repo_id=${HF_USER}/eval_act_so100_test_v2_act \
  --control.tags='["tutorial"]' \
  --control.warmup_time_s=5 \
  --control.episode_time_s=30 \
  --control.reset_time_s=5 \
  --control.num_episodes=4 \
  --control.push_to_hub=false \
  --control.policy.path=outputs/train/act_so100_test_v2_act/checkpoints/last/pretrained_model

C++开源项目 VLC 源代码的交叉编译以及库的裁剪方法详解
dvlinker的技术专栏
12-23 2万+
本文详细讲述C++开源项目 VLC 源代码的交叉编译以及库的裁剪过程。
AI 编程工具—Cursor进阶使用 阅读开源项目
01-14 1万+
这事是所有程序员都不愿意干的事情，然后今天这种脏活累活你不用干了，交给它，这我就不演示了，你自己去玩吧Cursor其实不止是帮我们写代码，很多处理文本，处理数据的活它也能干。
如何从0搭建具身智能Lerobot SO-ARM100机械臂并完成自定义抓取任务
m0_53134931的博客
01-07 3656
从0搭建具身智能机械臂免费教程来啦！！！！
使用 SO-100 运行 LeRobot框架
weixin_42396076的博客
04-12 921
配置步骤还将归零偏移设置为 0，所以如果你装配错误，你可以随时更新归零偏移以补偿 ± 2048 步（± 180 度）的偏移。接下来，你需要校准你的 SO-100 机器人，以确保领导者机械臂和跟随者机械臂在相同物理位置时具有相同的位置值。太棒了 :hugs:！第一条机械臂的装配可能超过 1 小时，但一旦你习惯了，你可以在 1 小时内装配第二条机械臂。在装配之前，你首先需要配置电机。如果你想使用 Hugging Face 集成的功能上传你的数据集并且你之前没有这样做过，请确保你已使用写权限的令牌登录，可以在。
全网首个Π0仿真与实物复现方案
AI生成曾小健3
12-25 1791
接下来小组将重点解决一些工程问题，如机器人控制过程中的抖动问题、加入lerobot框架、预训练数据量不足的问题，以及强化学习微调等问题。排除推理逻辑的问题后，单纯的模型输出也有类似问题，看起来像是模型在预测过程中无法准确判断前后顺序（例如：前进过程中突然后退）通过使用预训练的 VLM，模型导入了互联网规模的通用知识，继承了语言和视觉-语言模型的语义推理和问题解决能力。在基础的视觉-语言模型上进一步训练，整合机器人动作数据，将模型扩展为一个视觉-语言-动作（VLA）模型。，它本身并不直接输出动作。
LeRobot——Hugging Face打造的机器人开源库：包含对顶层script、与dataset的源码分析(含在简易机械臂SO-ARM100上的部署)
结构之法 算法之道
06-15 6986
5月6日，Hugging Face的机器人项目负责人雷米·卡德内Remi Cadene宣布推出LeRobot开源代码库，并形容它对于机器人的意义就如同“Transformer架构之于NLP”Remi Cadene在推文中表示，LeRobot之于机器人就像Transformer架构之于NLP——它提供带有预训练检查点的高级AI模型的简洁实现。他们还复现了来自学术界的 31 个数据集和一些模拟环境，无需实体机器人即可开始使用
LeRobot 项目常见问题解决方案
gitblog_07159的博客
09-13 746
LeRobot 项目常见问题解决方案 lerobot ???? LeRobot: State-of-the-art Machine Learning for Real-World Robotics in Pytorch 项目地址: ht...
NVIDIA Isaac GR00T N1：世界首个开源通用人形机器人基础模型
专注于人工智能领域的小何尚
03-19 1911
NVIDIA Isaac GR00T N1是一个跨实施模型，可以接收多模态输入（包括语言和图像），用于在各种环境中执行操作任务。该模型基于广泛的人形数据集进行训练，这些数据集包括真实捕获的数据、使用NVIDIA Isaac GR00T Blueprint组件生成的合成数据以及互联网规模的视频数据。GR00T N1的特点在于它可以通过后期训练适应特定的实施方式、任务和环境。这意味着研究人员可以将这个基础模型应用到各种不同的机器人平台上，并针对特定任务进行微调，大大降低了开发复杂机器人应用的门槛。实施标签。
程序员面试、算法研究、机器学习、大模型/ChatGPT/AIGC、论文审稿、具身智能/人形机器人、RAG等16大系列集锦
热门推荐
结构之法 算法之道
01-05 76万+
程序员面试、算法研究、编程艺术、红黑树、机器学习5大经典原创系列集锦与总结 作者：July--结构之法算法之道blog之博主。 时间：2010年10月-2018年5月，一直在不断更新中.. 出处：http://blog.csdn.net/v_JULY_v。 说明：本博客中部分文章经过不断修改、优化，已集结出版成书《编程之法：面试和算法心得》。 前言 开博4年有余，...
lerobotdepot：开源硬件助力前沿AI应用
gitblog_00684的博客
04-22 672
lerobotdepot：开源硬件助力前沿AI应用 lerobotdepot LeRobotDepot is a community-driven repository listing open-source hardware, components, and 3D-printable projects compatib...
Java最著名的开源项目
04-05
在Java的生态系统中，存在诸多著名的开源项目，这些项目各有特色，为Java开发人员提供了丰富的开发工具和应用架构。以下是对一些Java著名开源项目的详细介绍，它们分别在不同的开发领域中扮演着重要角色。 首先，...
.Net开源流程引擎RoadFlow最新版（全部源码）
07-24
《.Net开源流程引擎RoadFlow深度解析》 .Net开源流程引擎RoadFlow是一款高效、灵活的流程管理工具，专为.NET开发者设计，提供了完整的源代码，方便开发者进行二次开发和定制。该引擎以其强大的功能和易用性，在企业...
开源鸿蒙，给机器人带来了什么？
脑极体
04-22 731
2025全球机器人操作系统竞争力报告》显示，中国工业机器人核心算法库自主可控性不足40%，76%的中国机器人仍依赖“ROS+Linux”的底层操作系统，而开源鸿蒙M-Robots OS全栈国产路线，缓解了“技术卡脖子”风险，标志着中国在机器人操作系统领域实现了从跟跑到并跑的跨越。有的来自德国，有的来自日本，还有的来自美国。ROS架构松散，节点间通信依赖固定的讯息格式，不同品牌的机器人需要额外开发通信接口，编程人员需要精通Linux和C++编程的专业人才，调试周期长、成本高，给中小企业带来一笔不小的开支。
主流开源 LLM 应用开发平台详解
爱的叹息的专栏
04-23 981
主流开源 LLM 应用开发平台详解
【开源】STM32HAL库驱动ST7789_240×240（硬件SPI+软件SPI）
最新发布
wan1234512的博客
04-23 419
调试移植了一款ST7789的屏幕，使用HAL库分别用软件和硬件SPI驱动成功，文中描述了移植时候遇到的BUG
活动预告丨CCF开源发展委员会“开源高校行”第三十九期—电子科技大学站
CCF开源发展委员会的博客
04-22 305
CCF开源发展委员会(CCF ODC)秉承创新、开放、协作、共享的理念和价值观，聚焦打造自身开源的新型开源创新服务平台，培育孵化原始创新的开源项目，培养开源创新实践人才。依托CCF链接科教资源、产业资源和社会资源等，形成产、学、研、用联动的开源创新模式，探索由学术共同体主导的开源发展新路径，为中国计算机学会会员乃至全球开源创新实践者提供高水平服务，助力开源生态建设。在数字化转型的浪潮中，开源人才的培养是信息技术创新发展的重要根基，高校学子作为我国开源生态的源头活水备受重视。点击阅读原文进入官网。
《开源大模型选型全攻略：开启智能应用新征程》
zheng_ruiguo的专栏
04-22 1077
在当今数字化浪潮中，人工智能的发展可谓日新月异，而开源大模型作为其中的关键驱动力，正以惊人的速度改变着各个领域的面貌。从智能客服高效解答客户疑问，到智能写作助力创作者灵感迸发，开源大模型展现出了强大的应用潜力。然而，面对市场上琳琅满目的开源大模型，如何精准选型，成为众多企业和开发者面临的首要难题。本文将深入剖析开源大模型选型的关键要素，为您的智能应用之路点亮明灯。
开源状态机引擎，在实战中可以放心使用
红豆和绿豆的博客
04-22 938
更多使用细节和高级特性可以参考 [Squirrel-Foundation 官方文档](https://hekailiang.github.io/squirrel/) 或其 [GitHub 仓库](https://github.com/hekailiang/squirrel)。- **项目地址**：[https://github.com/hekailiang/squirrel](https://github.com/hekailiang/squirrel)// 定义状态机事件。##### 3. 定义状态机。
DeepSeek开源引爆AI Agent革命：应用生态迎来“安卓时刻”
weixin_47201270的博客
04-22 519
DeepSeek的开源，不仅是技术的突破，更是一场生态革命。：经过微调的80亿参数小模型可在M1 MacBook上运行，开发者实测显示，多Agent工作流开发成本骤降，中小开发者迎来“黄金时代”。：小模型在AI手机、智能眼镜等设备上实现低延迟交互，例如教育类AI Agent可实时解答数学题，情感陪伴机器人能同步捕捉用户微表情。：5分钟内完成行业研究报告，准确率超人类新手；
Windows lerobot
02-21
### Windows 和 Lerobot 技术信息 对于希望了解有关 Windows 平台上的勒机器人 (Lerobot) 的技术文档、教程以及安装配置指南的用户来说，有多种资源可以提供帮助。 #### 获取官方技术支持资料 微软官方网站提供了丰富的开发者和技术支持资源。通过访问 Microsoft Docs 可以找到关于操作系统集成开发环境以及其他工具的相关说明[^1]。然而需要注意的是，“Lerobot”并非是一个广泛认可的标准术语，在标准的技术文献中可能不会直接提及此名称。因此建议确认具体的产品名或项目背景以便更精准定位所需的信息源。 #### 寻找社区贡献的内容 除了官方渠道外，GitHub 或其他开源平台也是寻找特定应用如勒机器人的良好去处。许多个人开发者会分享自己的经验心得，包括但不限于详细的设置向导、常见问题解答等。这些非正式但实用的文章往往能补充官方文档未尽之处[^2]。 #### 实际操作指导 假设这里提到的“Lerobot”是指某种基于Windows运行的服务端软件，则一般而言其基本的操作流程如下： - **下载**：前往项目的发布页面获取最新版本的应用程序包。 - **安装**：按照提示完成必要的系统准备和依赖项部署工作；部分情况下可以直接执行可执行文件(.exe)，而对于需要编译源码的情况则要预先安装好相应的构建工具链。 - **配置**：编辑应用程序自带的配置文件来调整行为参数，比如监听地址、日志级别等等。这通常涉及到修改JSON/XML/YAML格式的文字记录。 ```json { "server": { "host": "0.0.0.0", "port": 8080, ... } } ``` - **启动服务并验证状态**：利用命令行界面或其他图形化管理面板开启该进程，并检查是否正常运作无误报错。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值