datamonday-CSDN博客

原创本地搭建属于自己的ChatGPT：基于PyTorch+ChatGLM-6b+Streamlit+QDrant+DuckDuckGo

本地部署chatglm-6b记录，解决生成式模型的时效性问题方案：通过本地数据库或者搜索引擎获取特有数据或者实时数据作为生成模型的上下文。

2023-04-16 02:55:47 15363

原创时间/时空序列分类/预测/异常检测模型顶会论文资源汇总

本文详细总结了近几年时间/时空序列分类/预测/异常检测模型顶会论文，包括Transformer及其变体。

2022-04-03 22:50:01 17335 2

原创计算机视觉（CV）必读论文、课程、术语汇总

计算机视觉必读论文图像分类，目标检测，GAN，GNN，OCR等，全文中英对照翻译，相关术语，代码等。

2020-09-17 19:14:07 9509 6

原创原理+论文+实战：60篇由浅入深的时间序列预测/分类教程汇总

本文通过论文、实战教程等几十篇篇博文，梳理总结了一套系统化的时间序列预测和时间序列分类任务的入门指南。文中提及的博客、论文和教程全部内容的总字数大约在50万字到100万字之间。

2020-04-17 09:24:44 125312 103

原创 [EAI-019] OpenVLA: An Open-Source Vision-Language-Action Model

基于互联网规模的视觉语言数据VLMs和多样化的机器人演示数据训练，构建VLA模型——鲁棒的、可泛化的视觉运动控制策略（Visuomotor Control Policies）。基于预训练模型构建的VLA可以实现物体位置、光照、干扰物体、新颖物体和任务指令的泛化。

2025-01-21 01:39:04 578

原创 [EAI-018] π0: A Vision-Language-Action Flow Model for General Robot Control

提出了一种基于预训练视觉语言模型 (VLM) 的新型 flow matching 架构，以继承互联网规模的语义知识。然后，我们讨论如何在来自多个灵巧机器人平台（包括单臂机器人、双臂机器人和移动机械臂）的大型多样化数据集上训练此模型。我们根据模型通过直接提示执行任务的能力、遵循人类和高级 VLM 策略的语言指令的能力以及通过微调获取新技能的能力来评估我们的模型。结果涵盖了各种各样的任务，例如折叠衣物、清洁桌子和组装盒子。

2025-01-19 22:55:05 624

原创 [EAI-017] Genie: Generative Interactive Environments

Genie 是第一个以无监督方式从无标签的互联网视频中训练出来的生成式交互环境。该模型可以通过文本，合成图像，照片甚至草图来生成无穷无尽的可动作控制的虚拟世界。在参数为 11B 时，Genie 可被视为一个基础世界模型。

2024-03-05 02:24:38 933

原创 [EAI-016] Video as the New Language for Real-World Decision Making

视频数据捕捉到了难以用语言表达的物理世界的重要信息。本文研究了扩展视频生成功能以解决现实世界中的任务。视频可以作为一个统一的接口，吸收互联网知识并表现不同的任务。此外，视频生成如何像语言模型一样，通过上下文学习、规划和强化学习等技术充当规划器、Agent、计算引擎和环境模拟器。

2024-03-04 01:50:36 1100

原创 [EAI-015] Learning Interactive Real-World Simulators

我们探讨了通过生成建模学习现实世界交互通用模拟器的可能性。我们首先提出了一个重要的观点：可用于学习现实世界模拟器的自然数据集通常在不同维度上都很丰富（例如，图像数据中的丰富物体，机器人数据中的密集采样动作以及导航数据中的各种运动）。

2024-03-03 22:03:08 1402

原创 [EAI-014] RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Sim

为机器人Agent提供了一个自我引导的建议-生成-学习循环：Agent 首先提出要开发的有趣任务和技能，然后通过用适当的空间配置填充相关物体和资产来生成相应的仿真环境。然后，agent将所提出的高级任务分解为子任务，选择最优学习方法（强化学习、运动规划或轨迹优化），生成所需的训练监督，然后学习策略以获得所提出的技能。

2024-02-26 06:00:00 1193 1

原创 [EAI-013] Ego4D: Around the World in 3,000 Hours of Egocentric Video

数据集 Ego4D：在规模（时长，相机佩戴者，标注数量，地理位置等），多样性（室内和室外，任务数量等）和真实感（真人佩戴相机）方面更上一层楼的第一视角的日常活动数据集，大多数是无脚本化（不指定相机佩戴者要执行什么活动）和in the wild的。“4D” 的含义是第一视角获取的 3D 空间信息 + 时间信息。5 个基准任务阐明研究课题：涵盖了第一视角感知的基本组成部分——索引过去的经验，分析当前的互动，预测未来的活动。

2024-02-25 18:41:16 1542

原创 [EAI-012] RoboVQA: Multimodal Long-Horizon Reasoning for Robotics

提出了一个包含多种任务，多种具身环境收集的机器人问答数据集，并探讨了在现有多模态数据集上训练出来的最先进的视觉语言模型能否在现实世界中高精度地执行落地任务。

2024-02-25 11:36:26 1325

原创 [EAI-011] AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents

我们提出了 AutoRT 系统，该系统利用现有的基础模型，在完全看不见的场景中，以最少的人工监督，扩大可操作机器人的部署规模。AutoRT 利用 VLMs 进行场景理解和执行，并进一步利用 LLM 提出多样化的新指令，供机器人机群执行。

2024-02-14 20:43:38 1518

原创 [EAI-010] RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches

提出了一种使用这种粗略轨迹草图的策略调节方法 RT-Trajectory，这是实用的，易于指定的，并且可以让策略有效地执行原本难以执行的新任务。

2024-02-14 20:38:20 1333

原创 [EAI-009] Eureka: Human-Level Reward Design via Coding LLM

EUREKA 利用最先进的 LLM 对奖励代码进行进化优化。由此产生的奖励可用于通过强化学习获得复杂的技能。在没有任何特定任务提示或预定义奖励模板的情况下，EUREKA 生成的奖励函数优于人类设计的专家奖励。

2024-02-12 08:50:24 2076

原创 [EAI-008] RT-2：Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

研究如何将在互联网规模数据上训练的视觉语言模型直接纳入端到端机器人控制，以提高泛化能力并实现新兴语义推理能力。

2024-01-13 11:00:11 1177

原创 [EAI-007] Open X-Embodiment: Robotic Learning Datasets and RT-X Models

汇集了 21 家机构合作收集的 22 种不同机器人的数据集，展示了 527 种技能（160266 项任务）

2023-12-19 04:45:00 1354 2

原创 [EAI-006] 具身视觉语言规划（EVLP）度量标准汇总

目前在 EVLP 中使用的度量标准可分为 5 类，分别从不同角度测量智能体性能。

2023-12-17 23:12:01 1372

原创 [EAI-005] 具身视觉语言规划（EVLP）数据集基准汇总

解决 EVLP 任务通常需要使用仿真环境和数据集。仿真平台和数据集有助于复现和评估具身智能系统。

2023-11-19 15:03:45 1891

原创 [EAI-004] 具身视觉语言规划（EVLP）仿真环境汇总

解决 EVLP 任务通常需要使用仿真环境和数据集。仿真平台和数据集有助于复现和评估具身智能系统。

2023-11-18 13:03:24 1328

原创 [EAI-003] RT-1: Robotics Transformer for Real-World Control at Scale

通用机器人模型成功的关键之一在于开放式的任务无关的训练，以及能够吸收所有不同机器人数据的大容量架构。本文提出了 Robotics Transformer 模型，其具有良好的可扩展模型特性。

2023-10-23 01:17:42 589 3

原创 [EAI-002] A Survey of Embodied AI: From Simulators to Research Tasks

具身智能领域从模拟器到研究的综述。提出的七大特点评估目前的九种具身智能模拟器，本文旨在了解这些模拟器在具身智能研究中的应用及其局限性。最后，本文概述了具身智能的三大研究任务：视觉探索，视觉导航和具身问答（QA），涵盖了最先进的方法、评估指标和数据集。最后，本文将根据对该领域的综述所获得的新见解，为选择任务模拟器提出建议，并为该领域的未来发展方向提出建议。

2023-10-21 13:14:05 1850