- 博客(120)
- 收藏
- 关注
RSS订阅原创 Isaac Sim Orbit复现
这篇论文介绍了一种名为ORBIT的机器人学习统一模块化框架，使用了NVIDIA Isaac Sim技术。该框架提供了模块化设计，可轻松高效地创建具有逼真场景和高保真刚性和可变形物体模拟的机器人环境。作者们还提供了一系列不同难度的基准任务，从单阶段的柜门打开和布料折叠到多阶段任务如房间重组。为了支持不同的观测和动作空间，他们包括了具有不同物理传感器和运动生成器的固定臂和移动机械臂。ORBIT利用基于GPU的并行化，允许在几分钟内训练强化学习策略和收集大规模的演示数据集。
2024-04-30 17:18:10
850
2
原创 FoundationPose复现及Realsense应用
FoundationPose是一个统一的基础模型，用于6D对象姿态估计和跟踪，支持基于模型和无模型的设置。在测试时可以立即应用于未见过的新对象，无需微调，只要给出其CAD模型，或者捕获少量RGBD参考图像。得益于统一框架，下游姿态估计模块在两种3D模型设置中都是相同的，当没有CAD模型时，使用神经隐式表示进行高效的新视角合成。通过大规模合成训练，辅以大型语言模型（LLM）、一种基于transformer的新架构和对比学习公式，实现了强大的泛化能力。
2024-04-22 14:45:16
1384
11
原创 Github代码仓库SSH配置流程
SSH（Secure Shell）协议是一种网络协议，用于在不安全的网络中提供安全的数据通信。它可以用于远程登录到计算机系统，也可以用于在两台计算机之间传输文件。SSH提供了强大的身份验证和安全的数据通信，可以防止密码、信息被拦截、篡改或者重放。使用 SSH 密钥，您可以连接到 GitHub，而无需在每次访问时提供您的用户名和个人访问令牌。并且，您还可以使用 SSH 密钥来克隆/提交代码到Github。
2024-02-21 11:42:28
1441
原创 ROS1 Noetic主从机通信使用详解
2023/12/27是一个机器人爱好者开源组织。由于笔者水平有限，以下内容可能存在事实性错误。本文分为设置步骤相关知识和参考资料三部分。如果你只希望设置，请参考设置步骤。如果你希望了解相关概念，请参考相关知识。如果你希望深入了解ROS的环境变量设置和多机通讯，请参考参考资料。
2023-12-27 14:59:24
1170
原创 奥比中光 Femto Bolt相机ROS配置
记录了奥比中光 Femto Bolt相机的配置过程。包括在以及普通的x86 PC上的ROS1和ROS2版本相机包的配置。在博文发布的时间点，以下步骤测试有效。
2023-12-12 11:23:20
1505
原创 机械臂手眼标定详解
机械臂手眼标定详解作者： Herman Ye @Auromix测试环境： Ubuntu20.04 、ROS1 Noetic、Realsense D415更新日期： 2023/12/11注1： @Auromix 是一个机器人爱好者开源组织。注2： 由于笔者水平有限，以下内容可能存在事实性错误。注3： 本文中直接引用各包官方文档的图片等内容，版权归各官方所有。准备阶段为手眼标定准备以下部分：机械臂准备好能正常运行的真实机械臂。此处以Realman RM75为例。相机准备好需要标定的相机
2023-12-11 15:42:19
1257
原创 Isaac Sim教程08 独立代码编程
当进行重置操作时，在运行IsaacSim的终端里打印了位姿世界由“加载”和“重置”按钮管理，使用户可以清楚地保证调用回调函数时模拟器的状态。用户与世界的交互被最小化到他们与世界的唯一交互采用world.scene.add(user_object)的形式，其中user_object是来自omni.isaac.core的任何对象。
2023-12-06 14:48:56
1333
3
原创 Isaac Sim教程07 拓展编程Extension
拓展是构建在 Omniverse Kit 基础上的应用程序的核心组成部分。它们是独立构建的应用程序模块，而 Omniverse Isaac Sim 中使用的所有工具都是作为拓展构建的。只需在拓展管理器中安装它们，就能在不同的 Omniverse 应用程序中轻松使用。通俗地讲，当加载Isaac Sim时，看到有非常多的拓展启动成功，这是因为Isaac Sim的主体就是由拓展构成的。拓展的最简形式就是一个包含配置文件（extension.toml）的拓展包文件夹，和ROS2中的功能包的理念有相似之处。
2023-12-05 18:02:44
1213
原创 Isaac Sim教程06 OmniGraph图编程
OmniGraph 是 Omniverse 中的一种可视化脚本语言，为世界赋予了生动的行为和互动。它能够处理多种计算任务，涵盖了各种事件，OmniGraph 将多种不同类型的图系统集成在单一框架下。如果希望深入了解OmniGraph，可以参考OmniGraph官方文档。
2023-12-05 18:02:15
1254
原创 Isaac Sim教程05 机器人简单组装及传感器
有时候不小心移动了相机的视野，这个时候的相机Transform就会变化，调回去比较麻烦，如果在相机和父关节间加上一个固定的Transform关系，则每次不小心弄乱了相机的视野时，都可以通过将相机自身Transform全部置0来恢复原有状态。举例来说，考虑一个机械手臂的树结构：根部位于地平面的底部，旋转关节将不同的连杆连接到机械手，整个树结构只有一个分支，通过棱柱关节将两个夹具部分连接到手臂，实现了线性接头。将物体组织成关节树可以实现更高的模拟保真度，减少关节误差，并能够处理关节体之间更大的质量差异。
2023-12-05 17:58:14
1260
原创 Isaac Sim教程04 Isaac Sim的高级使用
按照Isaac Sim基本使用中的办法，添加一个普通的立方体，并将它的位置设置在[0,0,0.5]，这是因为默认的物体中心将在[0,0,0]出现，默认立方体的边长是1m，内嵌在了地面中，这显然和地面冲突了。缩放，发现地面只有一部分，这是因为超出范围的地面不需要渲染，以此减少性能开销，但即使是在不可视的地面，依然会有碰撞属性，物体在坠落到地面时不会再继续向下坠落。令人疑惑的是，这些物体并没有按预料中的方式下坠，这是因为虽然设置了物理环境，但并没有设置物体自身的物理属性，接下来在。
2023-12-05 17:57:25
1612
原创 Isaac Sim教程03 Isaac Sim的基本使用
在Stage里将Cube拖到刚才新添加的Xform里，这个Cube将作为Xform的Child，随后将Xform拖动到Sphere，这个Xform将作为Sphere的Child。，简而言之，“Prim” 在 USD 中是用来组织场景数据的基本单元，"Prim"可以包含其他 “Prim” 和属性，用于构建场景的层次结构和存储数据。在通用场景描述 (USD) 的上下文中，“Xform” 是一种特殊的 “prim”，它用于表示物体的变换信息，用于控制场景中物体的位置、旋转和缩放。工作站包的根文件夹通常位于。
2023-12-05 17:56:43
1721
原创 Isaac Sim教程02 Isaac Sim的安装与环境配置
来到Isaac Sim的目录下，附带路径设置，运行Isaac Sim，Isaac Sim默认记忆上次的路径设置，因此只需要尝试运行一次，之后都会默认资产是这个路径。以下配置步骤为工作站、个人电脑的配置方式，对于云端或Docker部署，可参考本章的云端部署部分或Isaac官方关于Docker的部署说明。通过将资产部署到Nucleus的服务器上，可以实现不同成员间的资产协作，同时可以在GUI左下角的Content中方便地显示资产缩略图。设置工作站Isaac Sim包的环境变量，工作站包的根文件夹位于。
2023-12-05 17:55:20
1809
原创 Isaac Sim教程01 Isaac Sim介绍
Isaac Sim是专为 NVIDIA Omniverse平台开发的机器人仿真工具包。Isaac Sim 提供了构建仿真机器人世界和进行实验所需的大部分功能，并提供了创建稳健、物理精确的仿真和合成数据集的工具和工作流程。Isaac Sim 支持常见的机器人框架，例如ROS/ROS2，它可通过ROS/ROS2进行导航和操作应用。Isaac Sim 能够模拟来自各种传感器的传感器数据，如RGB-D、激光雷达和IMU，用于各种计算机视觉技术，包括域随机化、地面真值标注、分割和边界框。
2023-12-05 17:54:25
1380
原创 ROS2教程08 ROS2的功能包、依赖管理、工作空间配置与编译
ROS 2鼓励开发者将功能包设计成可重用的模块，以便在不同的机器人项目中进行重复使用。进行构建时，Colcon 不会将软件包的文件复制到安装目录，而是在安装目录中创建符号链接，指向在构建目录中生成的实际文件。是ROS2中用于管理和解决ROS软件包的依赖关系的一个工具，能够识别和解决ROS软件包所需的各种系统和第三方软件包的依赖关系，完成依赖的安装和后续的更新。在ROS 2中，功能包（packages）是组织和管理机器人应用程序的基本单元之一，通常包含一组相关的功能和代码，用于实现特定的机器人任务或功能。
2023-12-05 17:50:07
2258
原创 ROS2教程07 ROS2自定义消息接口
ROS2的消息类型是一种用于在ROS2中传递数据的数据结构。这些消息类型用于在不同ROS2节点之间交换信息，允许节点之间进行通信和协作。ROS消息类型通常以一种结构化的方式定义，以便节点可以准确地理解和解释数据。可嵌套每个ROS消息类型都有一个特定的消息定义，其中包含一个或多个字段（成员变量），这些字段可以包含不同类型的数据，如整数、浮点数、字符串、数组等。这嵌套结构允许更复杂的数据组织和传递。标准化。
2023-12-05 17:49:34
1262
原创 ROS2教程06 ROS2行动
在ROS2中，除了常见的话题通信和服务通信，还存在一种重要通信机制，称为Action通信。根据牛津词典的定义，“action"一词的核心释义是"process”，即过程，表明它具有持续性。因此，可以将Action翻译为"行动"。虽然这个定义抽象，但在ROS2中，可以将机器人的某些行为称为"Action"。以turtlesim为例，它包含一种称为的行动，可用于让海龟机器人在当前位置绕绝对指定的角度旋转。
2023-12-05 17:49:01
838
原创 ROS2教程05 ROS2服务
服务（Service）是ROS（Robot Operating System）图中节点之间进行通信的另一种方式。它建立在调用和响应模型之上，与主题（Topic）的发布者-订阅者模型不同。虽然主题允许节点订阅数据流并获取持续的更新，但服务仅在客户端专门调用时才提供数据。服务是一种通信方式，采用的是请求和响应模型，与主题的单向发布-订阅模型形成鲜明对比。话题用于节点之间的单向通信，而服务则支持双向通信，允许客户端向服务端发出请求，服务端处理请求并生成响应。
2023-12-05 17:48:36
993
原创 ROS2教程04 ROS2话题
话题（Topic）是ROS 2中的一个关键概念，它在将复杂系统分解为模块化节点（Nodes）并在节点之间交换消息方面发挥着重要作用。通过话题，节点能够实时共享信息，从而实现协同工作和分布式处理。消息在不同节点之间传递，这些消息可以包括传感器数据、控制指令、状态信息等，话题作为关键的通信桥梁，使它们能够高效地交换信息，以完成各自的任务。举例来说，假设公司办公室挂着一块与项目A相关的会议时间白板，上面记录着今天的会议时间。
2023-12-05 17:48:13
1086
原创 ROS2教程03 ROS2节点
ROS 中的每个节点（Node）通常负责单一的模块化目的，例如控制车轮电机或发布来自激光测距仪的传感器数据。每个节点都可以通过主题（Topic）、服务（Service）、操作（Action）或参数（Parameter）从其他节点发送和接收数据。
2023-12-05 17:47:44
1038
原创 ROS2教程02 ROS2的安装、配置和测试
默认情况下，所有ROS 2节点都使用领域ID 0，但为了避免来自不同组计算机上运行的ROS 2节点之间的干扰，建议为每个组设置不同的领域ID。ROS 2的正常运行依赖于工作区（Workspace）的概念，这是ROS 2的核心术语，用于定义开发ROS 2应用程序的位置。: 这表示软件源中的组件，指定了软件源包含的软件包的主要部分。脚本，该脚本会查找已安装的ROS软件包，并构建它们之间的依赖关系，然后对软件包进行拓扑排序，以确保按正确的顺序生成Shell命令，以设置ROS软件包的运行时环境。
2023-12-05 17:45:49
1475
原创 ROS2教程01 ROS2介绍
机器人操作系统（Robot Operating System，简称ROS）源自斯坦福大学Kenneth Salisbury机器人实验室的博士生研究工作，首次发布于2007年。ROS一直以来都是机器人领域的杰出工具。尽管其名称中包含“操作系统”，但实际上它并不是一个独立的操作系统，如Windows或Linux。ROS实际上是一套软件库和工具的集合。设计和开发复杂且强大的机器人是一项极具挑战性的任务，因为机器人通常由多个组件组成，这些组件需要有效地进行通信和协同工作。
2023-12-05 17:44:57
826
原创 科力雷达Lidar使用指南
# Quickstart Guide## 1.安装及编译```bash# Go to your workspace srccd ~/galbot_ws/src# Download latest package (Warning@HermanYe: bugs exist.)git clone https://gitee.com/keli_tech31/sdkeli_ls_udp.git# Set permissions for directorysudo chmod 775 -R sdkeli
2023-11-11 20:36:51
352
原创 ROS相机内参标定详细步骤指南
相机标定的目的是为了确定相机内部参数和外部参数，以便修正图像并将图像坐标映射到世界坐标，或者从世界坐标映射到图像坐标。这个过程是计算机视觉和三维感知任务的关键步骤之一，它有以下主要目的：1. **减小畸变**：相机镜头和传感器可能引入径向和切向畸变，使得图像中的直线变得弯曲或者物体的形状不准确。通过标定相机，可以矫正这些畸变，使图像更准确。
2023-09-14 20:05:01
3925
3
原创 大疆Livox Mid360 使用指南
Livox Mid-360是一款性价比高、安全可靠的激光雷达传感器，适用于无人驾驶、机器人、智慧城市等领域。它支持建图、定位、识别、避障等功能。该激光雷达具有360°宽广的探测视场角，能够探测距离仅为0.1米的物体[1]。Livox Mid-360采用先进的光学机械系统，实现更远的量程、更高的点云密度和覆盖率，精确捕捉视场中的每个细节，适应性更强。用户可以通过Livox Viewer 2软件实时获取三维点云图像，也可以基于Livox SDK进行开发，轻松获取3D点云数据，以满足个性化的应用需求。
2023-08-18 16:55:01
7894
13
原创 Azure Kinect DK + ROS1 Noetic使用教程
V1.02023/08/08本文内容中的硬件由 @Galbot 提供支持。是一个机器人爱好者开源组织。本文在更新日期经过测试，确认有效。
2023-08-08 18:25:44
1593
1
原创 宇树Unitree Z1机械臂使用教程
V1.02023/08/04本文内容中的硬件由 @Galbot 提供支持。是一个机器人爱好者开源组织。本文在更新日期经过测试，确认有效。
2023-08-04 22:24:16
1616
2
原创 AlphaPose复现配置教程
AlphaPose是一种准确的多人姿态估计器，这是第一个在COCO数据集上达到70+ mAP (75 mAP)和在MPII数据集上达到80+ mAP (82.1 mAP)的开源系统。为了匹配跨帧的同一人的姿态，我们还提供了一种高效的在线姿态跟踪器，称为Pose Flow。这是第一个在PoseTrack挑战数据集上达到60+ mAP (66.5 mAP)和50+ MOTA (58.3 MOTA)的开源在线姿态跟踪器。AlphaPose支持Linux和Windows操作系统！指路👉。
2023-07-19 14:00:13
1354
8
原创 MotionBert论文解读及详细复现教程
我们提出了一个统一的视角来处理各种以人为中心的视频任务，通过从大规模和异质的数据资源中学习人类运动表示。具体来说，我们提出了一个预训练阶段，在该阶段，一个运动编码器被训练来从嘈杂的部分2D观察中恢复底层的3D运动。通过这种方式获得的运动表示结合了几何、运动学和物理知识，可以轻易地转移到多个下游任务。我们使用一种双流空间-时间转换器（DSTformer）神经网络实现运动编码器。它能全面而灵活地捕获骨骼关节之间的长距离空间-时间关系，如当从头开始训练时，展现出了迄今为止最低的3D姿态估计错误。
2023-07-18 15:39:28
3062
27
原创 Instruct2Act：使用大型语言模型将多模态指令映射到机器人动作
基础模型在多种应用中取得了重大进步，包括文本到图像的生成、全景分割和自然语言处理。本文提出了一个名为Instruct2Act的框架，该框架利用大型语言模型将多模态指令映射为机器人操作任务的顺序动作。具体来说，Instruct2Act使用大型语言模型生成Python程序，构成了一个完整的机器人任务的感知、规划和行动循环。在感知部分，预定义的API用于访问多个基础模型，其中"Segment Anything Model"(SAM)精确地定位候选物体，而CLIP对它们进行分类。
2023-07-11 22:47:25
1730
原创 HuggingGPT解析：使用 ChatGPT及HuggingFace上的族系解决AI问题
总的来说，尽管HuggingGPT提出了一个新的AI解决方案设计范式，但仍存在一些限制和改进空间。例如，规划能力严重依赖于LLM的能力，效率是常见的挑战令牌长度是使用LLM时的常见问题，而且LLM的不稳定性也可能导致工作流程中的异常。尽管如此，HuggingGPT通过利用LLM的理解和推理能力，能够解析用户的意图，并将其分解为多个子任务，显示出解决具有挑战性的AI任务的巨大潜力，从而为实现人工普适智能开辟了新的途径。
2023-07-11 21:55:44
1610
原创 VisProg解析：根据自然语言指令解决复杂视觉任务
这个 notebook 与 “外部知识对象标记（Outside Knowledge Object Tagging）” 相关。它包含了一些用于通过自然语言处理技术对外部知识对象进行标注的代码和示例。：这个 notebook 与 “自然语言图像编辑（Natural Language Image Editing）” 相关。它包含了一些用于根据自然语言指令对图像进行编辑和处理的代码和示例。
2023-07-11 19:58:07
626
原创 ViperGPT解析：结合视觉输入与文本查询生成和执行程序
是一个混合视觉和语言处理模型，旨在解决视觉查询问题。这种问题需要视觉处理和推理能力的结合，ViperGPT通过利用代码生成模型，将视觉和语言模型组合成子例程，为任何查询生成结果。你可以在阅读相关的论文。
2023-07-11 19:56:47
768
原创 云深处绝影四足机器人协议学习解析
本学习文档介绍了云深处 绝影X20 四足机器人的通信协议，并对相关的通信机制和命令格式进行了简单的解析。该协议在机器人系统和上位机（例如外部板卡或系统）之间进行TCP通信时使用。
2023-07-11 14:21:34
517
原创 OpenAI GPT-4 Code Interpreter测试
OpenAI最近在GPT-4中推出了Code Interpreter功能的Beta版本，它是ChatGPT的一个版本，可以编写和执行Python代码，并处理文件上传。以下是对其表现的基本分析。
2023-07-11 10:30:44
2137
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人