LeRobot的数据集系统（上）

最新推荐文章于 2025-05-23 00:15:00 发布
最新推荐文章于 2025-05-23 00:15:00 发布
阅读量1.3k 收藏 36
点赞数 30
分类专栏： 智能体 计算机视觉 机器学习 文章标签： 机器人 计算机视觉 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yorkhunter/article/details/148097867
版权

LeRobot 的数据集系统提供了一个强大的框架，用于管理用于训练、评估和推理的机器人数据。本文介绍 LeRobot 数据集组件的架构和使用方法，重点介绍了机器人数据的存储、访问和处理方式。

请添加图片描述

概述

LeRobot 的数据集系统旨在高效处理多模态机器人数据，包括状态向量、图像/视频和任务描述。该系统支持本地和远程（Hugging Face Hub）数据集，并具备规范化、视频处理和图像转换等功能。

数据集结构

LeRobot 数据集采用结构化的文件层次结构进行组织，以促进高效的存储和访问模式。

关键组件

Data：包含存储在 Parquet 文件中的 episode 数据，按块组织（默认每块 1000 episodes）
Video：包含用于视觉数据的视频文件，按块和摄像头进行组织
MetaData：包含元数据文件：
info.json：数据集信息（特征、形状、FPS 等）
episodes.jsonl：剧集元数据（索引、时长、任务）
stats.json：用于规范化的数据集统计数据
tasks.jsonl：任务的自然语言描述
episodes_stats.jsonl：单集统计数据

核心数据集类

LeRobotDataset

处理机器人数据集的主要类。它提供以下功能：

  • 从 Hugging Face Hub 或本地存储加载数据集
  • 创建新的数据集用于录制
  • 访问情节数据、视觉数据和元数据
  • 将数据集推送至 Hugging Face Hub
Example: Loading a dataset

dataset = LeRobotDataset(
repo_id=“lerobot/example_dataset”,
episodes=[0, 1, 2], # Optional: load specific episodes only
image_transforms=transforms, # Optional: apply transformations to images
delta_timestamps={“observation.camera”: [-0.1, 0, 0.1]}, # Optional: temporal offsets
)

Example: Creating a new dataset

dataset = LeRobotDataset.create(
repo_id=“username/new_dataset”,
fps=30,
robot=robot, # Optional: get features from robot
use_videos=True, # Use videos instead of individual images
）

LeRobotDatasetMetadata

处理数据集元数据，包括：

  • 特征描述（形状、类型、名称）
  • 任务定义
  • 事件信息
  • 用于标准化的数据集统计数据

MultiLeRobotDataset

将多个LeRobot数据集实例合并为一个数据集：

  • 支持使用来自多个数据集的数据进行训练
  • 处理具有不同特征的数据集之间的兼容性
  • 维护数据集标识符以便进行源跟踪

数据集创建和管理

工厂函数

make_dataset 工厂函数提供一种基于配置创建数据集的统一方法：

delta 时间戳

delta 时间戳允许在检索数据点时进行时间偏移，从而实现：

  • 访问相对于当前时间步长的过去和未来帧
  • 为依赖于历史的策略创建观察窗口
  • 预测未来状态以进行规划
Example: Setup delta timestamps for different features

delta_timestamps = {
“observation.state”: [-0.1, -0.05, 0], # Past and current states
“observation.image”: [0], # Current image only
“action”: [0, 0.05, 0.1] # Current and future actions
}

数据集特征和模式

存储的各种数据格式如下

请添加图片描述

视频处理

对于包含视觉数据的数据集，LeRobot 提供高效的视频处理功能：

数据集记录

数据集系统支持高效记录新数据集：

  • 使用 LeRobotDataset.create() 创建新数据集
  • 使用 add_frame() 将数据帧添加到 episode 缓冲区
  • 使用 save_episode() 完成并存储 episode
  • 使用 push_to_hub() 推送至 Hugging Face Hub

请添加图片描述

数据集转换

对于使用旧版 LeRobot 创建的数据集，可以使用转换实用程序升级到最新格式：
python lerobot/common/datasets/v2/convert_dataset_v1_to_v2.py \
–repo-id username/dataset \
–single-task"Task description"

归一化和统计

LeRobot 数据集会跟踪用于归一化数据的统计数据：

  • 每个特征的平均值和标准差
  • 每集统计数据
  • 与策略配合使用时自动归一化

统计数据在录制时计算，并存储在 stats.json 和 episodes_stats.jsonl 中。

下面介绍可视化 LeRobot 数据集的工具和方法。数据集可视化对于检查机器人数据、调试问题以及理解机器人行为至关重要。LeRobot 框架提供两种互补的可视化方法，允许用户检查数据集内容，包括摄像头图像、机器人状态、动作和其他指标。

可视化概览

请添加图片描述

LeRobot 提供两种主要的可视化方法：

  • Rerun 可视化：使用 Rerun 库进行技术可视化，用于详细检查数据集片段。
  • HTML/Flask 可视化：基于 Web 的交互式可视化，提供同步视频播放和时间序列图表。

Rerun 可视化

Rerun 可视化工具 (visualize_dataset.py) 使用 Rerun 可视化库提供数据集片段的技术视图。它允许在分层时间轴中精确检查数据集内容。

使用 Rerun 可视化

请添加图片描述

使用模式

Rerun 可视化脚本支持三种使用模式：

  • 本地模式：打开本地 Rerun 查看器窗口以显示数据集可视化效果。
  • 保存模式：将可视化数据保存为 .rrd 文件以供日后查看。
  • 远程模式：创建一个 WebSocket 服务器，允许通过 Rerun 客户端进行远程连接。

命令行示例

本地可视化：

python lerobot/scripts/visualize_dataset.py \
–repo-id lerobot/pusht \
–episode-index0

保存模式（远程使用）：

请添加图片描述

远程模式（流传播）：

请添加图片描述

HTML/Flask 可视化

HTML/Flask 可视化工具 (visualize_dataset_html.py) 提供一个用户友好的 Web 界面，用于查看数据集片段。它包括同步视频播放、交互式时间序列图以及数据集元数据显示。

请添加图片描述

特征

HTML/Flask 可视化工具提供了一个交互式界面，其中包含以下几个主要功能：

  • 数据集浏览器：在可用数据集和片段之间导航
  • 同步视频回放：同步查看多个摄像机角度
  • 时间序列图：机器人状态和动作数据的交互式图表
  • 回放控件：播放、暂停、倒带和搜索控件
  • 数据过滤：切换特定数据序列的可见性
  • 可共享 URL：带有时间锚点的 URL，用于共享特定时刻

命令行示例

启动 Web 服务器：

python lerobot/scripts/visualize_dataset_html.py
–repo-id lerobot/pusht

选择特定 episodes：

python lerobot/scripts/visualize_dataset_html.py
–repo-id lerobot/pusht
–episodes 7 3 5 1 4

远程服务器访问：

在远程机器上

python lerobot/scripts/visualize_dataset_html.py
–repo-id lerobot/pusht
–host 0.0.0.0

在本地机器上（SSH tunnel）

ssh -L 9090:localhost:9090 username@distant-machine

然后在浏览器中打开 http://localhost:9090

可视化数据流

两种可视化系统处理数据集数据的方式类似，但在呈现方式上有所不同：

请添加图片描述

Web 界面组件

HTML/Flask 可视化界面包含以下关键组件：

请添加图片描述

时间序列数据可视化

HTML 界面使用 Dygraph JavaScript 库创建数据集特征的交互式时间序列可视化：

  • 从数据集中提取时间序列数据并转换为 CSV 格式
  • Dygraph 在浏览器中加载 CSV 数据
  • 图表与视频播放同步
  • 用户可以与图表交互以选择特定时间点
  • 可以切换数据值的可见性

可视化系统处理数据集中的各种数据类型：

请添加图片描述

常见用例

  1. 调试数据集问题：识别缺失帧、错误的状态/动作数据或时间戳异常。
  2. 策略制定：分析机器人行为并将策略输出与人类演示进行比较。
  3. 数据收集验证：确保在远程操作或自主操作期间数据收集工作正常。
  4. 教育用途：出于教育目的研究机器人行为和任务。

技术实现细节

EpisodeSampler

两种可视化工具都使用 EpisodeSampler 提取特定情节的帧：
classEpisodeSampler(torch.utils.data.Sampler):
def__init__(self, dataset: LeRobotDataset, episode_index: int):
from_idx = dataset.episode_data_index[“from”][episode_index].item()
to_idx = dataset.episode_data_index[“to”][episode_index].item()
self.frame_ids = range(from_idx, to_idx)

该采样器与 PyTorch 的 DataLoader 一起使用，可以有效地加载 episode 帧。

HTML 可视化的数据提取

HTML 可视化提取时间序列数据并将其转换为 CSV 格式以便在浏览器上呈现：

请添加图片描述

编程接口

这两款可视化工具都提供了可在 Python 代码中导入和使用的编程接口：

rerun 可视化

from lerobot.scripts.visualize_dataset import visualize_dataset
visualize_dataset(dataset, episode_index=0, mode=“local”)

HTML 可视化

from lerobot.scripts.visualize_dataset_html import visualize_dataset_html
visualize_dataset_html(dataset, episodes=[0, 1, 2], host=“localhost”, port=9090)

这些接口可用于将数据集可视化集成到自定义工作流程和应用程序中。

小节

LeRobot 的数据集可视化工具提供了多种互补方法来检查数据集内容：

  • Rerun 可视化：用于调试和详细分析的技术性、精确的可视化
  • HTML/Flask 可视化：用户友好的 Web 界面，用于探索具有交互功能的数据集

这些工具能够高效地调试、分析和理解机器人数据集，这对于开发和评估机器人学习策略至关重要。

。。。。。。待续。。。。。。

具身智能训练数据集哪里找？几大开源数据集帮你汇总好了！
强化学习曾小健
11-25 1172
数据涵盖了不同用户在多种任务和操作条件下的演示，包括不同物体的操作（如 lifting 任务中的立方体、picking 任务中的各种物品、assembly 任务中的螺母等）以及不同的操作场景，有助于训练出具有泛化能力的机器人策略。TACO - RL 使用的数据集是通过在模拟和真实环境中对机器人进行远程操作收集的，包含机器人与环境交互的状态 - 动作序列，用于训练分层策略以解决长时域机器人控制任务，支持机器人从无结构的游戏数据中学习通用技能并实现复杂任务的执行。
LeRobot的数据集系统（下）
yorkhunter的博客
05-22 485
LeRobot 的数据集系统提供了一个强大的框架，用于管理用于训练、评估和推理的机器人数据。本文介绍 LeRobot 数据集组件的架构和使用方法，重点介绍了机器人数据的存储、访问和处理方式。
lerobot[部署，元数据集，加载数据集]
JTB__JJ的博客
04-06 1243
博主最近想要学习一下robot learning相关内容，找到一个挺著名的由hugging face开源的框架lerobot。网上关于这个框架有用介绍比较少，就想自己来写一下。
lerobot[so100搭建，遥操作，采集数据集，ACT复现]
JTB__JJ的博客
04-23 680
获得摄像头的index后，在common/robot_devices/robots/configs.py的So100RobotConfig类中的cameras中做修改，如果只有两个摄像头且输出的index为0,1时不用做修改。照着/examples/10_use_so100.md装就行了，需要注意的是有时候打印件偏小不要硬塞，用锉刀搓一下一下就行，还有就是安装的时候不要转动齿轮。我是租的autodl的服务器，autodl有学术资源加速的服务,在终端输入命令即可开启。之后还是照着md文件中的图片装就好了。
LeRobot
whaosoft143ai的博客
05-08 614
今年 3 月，以构建大型开源社区而闻名的 AI 初创公司 Hugging Face，挖角前特斯拉科学家 Remi Cadene 来领导一个新的开源机器人项目 ——LeRobot，引起了轰动。面向机器人技术升级、形态多样化的现状，Cadene 表示 LeRobot 项目的发展愿景是「从多样化社区中构建软件和硬件，以在现实世界中开发下一代智能机器人」。总的来说，LeRobot 项目的目标是提供一个能够适应和控制任何形态机器人的 AI 系统，使机器人在多功能性和可扩展性方面得到增强。whaosoft aiot
LeRobot的机器人控制系统（上）
最新发布
yorkhunter的博客
05-23 1071
机器人控制系统是 LeRobot 框架的核心组件，提供用于操作、标定和记录物理机器人数据的接口。该系统支持远程操作、记录演示数据集、重放动作以及在真实机器人上运行已训练的策略。它充当用户、物理机器人硬件和训练流程之间的桥梁。本文介绍机器人控制系统的架构和使用方法。
LeRobot 开源项目教程
gitblog_00833的博客
08-09 2926
???? LeRobot 开源项目教程 项目地址:https://gitcode.com/gh_mirrors/le/lerobot 项目介绍 ???? LeRobot 是一个旨在简化机器人项目启动的开源库，类似于 Transformers 库在自然语言处理（NLP）中的作用。LeRobot 提供了预训练模型和与物理模拟器的无缝集成，支持多种机器人硬件，从教育机械臂到复杂的人形机器人。该项目由 Hugging...
Fourier-Lerobot——把斯坦福人形动作策略iDP3封装进了Lerobot(含我司七月的idp3落地实践)
结构之法 算法之道
03-22 3782
近期在抠lerobot源码时，看到其封装了ALOHA ACT、diffusion policy、π0时，我就在想，lerobot其实可以再封装下idp3我甚至考虑是否从我联合带的那十几个具身研究生中选几个同学做下这事，对他们也是很好的历练截止到，25年3.18日晚上，我把lerobot抠的差不多了，然后刚看到傅利叶fork了lerobot，并在fork的fourier-lerobot中，把idp3封装了进去，实在是卷啊..再加之工厂机械臂开发订单之外，我司近期接到的B端。
ubuntu部署LeRobot项目
mhl1107的博客
09-02 1325
LeRobot 旨在通过 PyTorch 为现实世界的机器人技术提供模型、数据集和工具。目标是降低机器人技术的入门门槛，以便每个人都能从共享数据集和预训练模型中做出贡献并受益。
LeRobot——Hugging Face打造的机器人开源库：包含对顶层script、与dataset的源码分析(含在简易机械臂SO-ARM100上的部署)
结构之法 算法之道
06-15 7989
5月6日，Hugging Face的机器人项目负责人雷米·卡德内Remi Cadene宣布推出LeRobot开源代码库，并形容它对于机器人的意义就如同“Transformer架构之于NLP”Remi Cadene在推文中表示，LeRobot之于机器人就像Transformer架构之于NLP——它提供带有预训练检查点的高级AI模型的简洁实现。他们还复现了来自学术界的 31 个数据集和一些模拟环境，无需实体机器人即可开始使用
lerobot收集数据
03-25
好的，我需要回答用户关于LeRobot数据收集方法的问题。根据用户提供的引用信息，LeRobot可能结合了多种数据来源，比如真实机器人数据、人类视频和合成数据。首先，我应该解释这些不同的数据收集方式，并引用提供的...
Lerobot抓取
03-17
#### 数据集构建 对于训练视觉引导型抓取算法而言，高质量的数据至关重要。QT-Opt 是一个典型例子，它由七个独立运作的真实世界工业级协作式机械臂共同贡献而成，总计记录下超过五十八万次不同条件下的尝试行为样本...
Lerobot ros
03-16
如果目标硬件设备搭载RTOS实时操作系统，则可能需要用到micro-ROS框架支持下的特定驱动程序或者中间层库函数集。更多关于这部分的内容可以在官方文档网站找到详细的入门指南链接地址[^2]。 ---
LeRobot代码解析
03-15
### LeRobot 数据集及其代码功能解析 #### 功能概述 LeRobotDataset 的核心目标是提供一种结构化的数据表示方式，用于支持机器人的学习任务。它通过封装观察数据和动作数据来构建训练样本集合，从而帮助模型理解...
基准数据集做大语言模型路由
yorkhunter的博客
08-15 8775
23年9月来自MIT和MIT-IBM实验室的论文“Large Language Model Routing with Benchmark Datasets”。
综述论文“Generalizing from a Few Examples: A Survey on Few-Shot Learning”
yorkhunter的博客
01-14 7827
发表于arXiv2019年5月13号。 摘要：人工智能在数据密集型应用中取得了成功，但缺乏从有限的示例中学习的能力。为了解决这个问题，提出了“少量学习”（FSL，Few-Shot Learning）。它可以用先验知识从受监督的经验有限的新任务中快速得出结论。为了全面了解FSL，本文进行了一项调查研究。首先澄清FSL的正式定义。其中不可靠的经验风险最小化是FSL的核心问题。基于采用先验知识处理核心...
Mooncake：LLM服务的KVCache为中心分解架构
yorkhunter的博客
07-01 5934
24年6月AI公司月之暗面的技术报告“Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving”。
最新的混合专家大语言模型DeepSeek-V2
yorkhunter的博客
06-03 4431
最近Deepseek团队（北大、清华和南京大学）刚刚公布开源MOE模型DeepSeek-V2，其技术细节见论文“DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model”。
综述论文“Advances and Open Problems in Federated Learning”
yorkhunter的博客
01-15 4398
2019年12月10日arXiv上载的联邦学习综述论文“Advances and Open Problems in Federated Learning“。 摘要：联邦学习（FL）是一种机器学习设置，其中许多客户端（例如移动设备或整个组织）在中央服务器（例如服务提供商）的协调下协同训练模型，同时保持训练数据的分散性。 FL体现了集中数据收集和最小化的原理，并且可以减轻由于传统的集中式机器学习和数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值