专注于人工智能领域的小何尚

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.html基于 NVIDIA Omniverse™ 构建的 Isaac Sim 利用了 NVIDIA Omniverse 套件，并通过机器人专用扩展得到了增强。 它提供对 NVIDIA PhysX 和 RTX 光线追踪技术的访问，以实现高性能、逼真的机器人模拟。Isaac SDK 通过机器人引擎扩展与基于 Omniverse 构建的 Isaac Sim 集成。 传感器数据和驱动命令通

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.htmlflatsim 代表平面世界模拟，是一个小型模拟应用程序，可让您运行几乎完整的 Isaac 导航堆栈。 flatsim 应用程序通过在给定的占用网格图中投射光线来模拟激光测距仪。 与全 3D 环境中成本更高的 3D 射线扫描相比，这种模拟速度极快。 因此，这是一种测试导航堆栈的快速且高性能的方法。flatsim 应用程序无法提供与实际场景中基于全 3D 的模拟相同的精度，尤

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.html管理机器人车队需要能够以编程方式向机器人发送任务并实时接收反馈。 此外，通常需要协调多个机器人之间的任务以完成单个目标。 任务提交系统解决了这两个需求。在 ISAAC 中，任务由两部分定义：定义任务整体行为的行为树（参见行为树）（即，导航到一个航路点）。ISAAC 应用程序配置，用于设置任务参数（即导航到哪个航路点）。一旦任务开始，它有三种可能的状态：RUNNING:任务

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.htmltrajectory_validation 包有三个用途：模拟可编程逻辑控制器 (PLC) 在机器人上的安全检查，这对于测试导航堆栈的规划器和控制器很有用。避免硬件紧急停止，从而提高生产率。验证主要规划器并使用后备规划器来避免可避免的冲突。trajectory_validation 包目前提供五种检查，每种检查都由此处描述的组件执行。 虽然所有检查都可用于验证轨迹，但其中大

行为树小码是 Isaac SDK 中控制任务流的主要机制之一。 它们遵循与经典行为树相同的一般行为，并为机器人应用程序添加了一些有用的内容。 本文档概述了一般概念、可用的行为树节点类型，以及如何单独或结合使用它们的一些示例。

用于直线运动的在线轨迹生成 - V 型 (OTG5) 规划器允许线性运动，同时明确防止曲线。 这在即使与一般直线运动方向有轻微偏差也会导致意外结果的情况下很有用。

ISAAC教程合集地址:检测异常系统状态并采取纠正措施有助于确保稳定的系统性能和与预期行为的最小偏差。为此，Isaac SDK 提供了一个监控框架，可以搭载多种系统观察组件。该框架目前包含专门用于监控机器人定位当前状态的组件。凭借其模块化方法，它可以针对个别场景和用例轻松定制。它由多个协同工作的组件组成：从各个评估器组件收集系统性能等级的中央监视器组件。定期将有关系统特定部分的性能等级发送到一个或多个连接的监视器组件的评估器组件。

Isaac 不需要大部分 ROS 功能，因此包含的软件包仅提供对通常随默认 ROS 安装一起安装的消息的支持，如下所列。ROS Bridge 所需的第三方库仅在桌面和 Jetson Xavier 上受支持。如果上述消息类型足以满足您的应用，请继续进行下一小节。否则，为了使用自定义 ROS 消息，有必要生成自定义包并将 bazel 构建系统指向这样的包。首先生成一个包含所需包的自定义工作区。

Livox 激光雷达Isaac SDK 支持使用 Livox LIDAR，包括兼容的驱动程序和示例应用程序。

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.html英特尔RealSense 435 摄像头是一款立体摄像头，可借助红外发射器计算深度。 可以通过多种方式配置 RealSense 摄像头小代码，以与各种 Isaac SDK GEM 配合使用：作为带有 GEM 的常规彩色相机，可处理单个相机图像——例如，用于物体检测。作为深度相机为 Superpixels 等 GEM 提供颜色和深度图像。作为单色立体相机，为立体视觉里程计等

如果需要，请使用 ZedCamera codelet 中的 settings_folder_path 参数为包含相机校准文件的目录指定自定义路径。

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.html使用 Playstation 操纵杆很容易控制运行 Isaac SDK 的机器人，但也可以使用其他控制器。按照以下步骤校准您的 Playstation 操纵杆。将操纵杆作为蓝牙外围设备配对。使用以下命令运行校准程序：找到您的操纵杆并记下设备 ID 以备后用。选择您的操纵杆并单击“属性”。单击校准并按照说明进行操作。如果摇杆通过USB线连接到桌面，您可能需要调整M

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.html注意此应用程序是实验性的，并且可能会在不同版本之间发生重大变化。Dolly Docking 应用程序的目标是使用深度神经网络 (DNN) 教会机器人在放置在机器人视线范围内的手推车下方导航。 DNN 的输入是机器人前方环境的占用网格的历史记录，以及目标姿态、速度和加速度向量。 神经网络的输出是接下来三个时间步长的速度曲线。此应用程序为 Isaac SDK 中的模块化强化学习

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.htmlElbrus 基于两项核心技术：视觉里程计 (VO) 和同步定位与地图绘制 (SLAM)。视觉里程计是一种用于估计相机相对于其起始位置的位置的方法。 此方法具有迭代性质：在每次迭代时，它都会考虑两个相应的输入帧（立体声对）。 在两个框架上，它都找到了一组关键点。 匹配这两组中的关键点可以估计相机在帧之间的过渡和相对旋转。Simultaneous Localization a

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.htmlCartographer 和其他第三方 SLAM 系统可能需要调整（独立于 Isaac SDK）才能在某些应用程序中获得有用的结果。Cartographer 需要的计算资源可能超过边缘设备。 因此，所提供的示例采用记录的日志数据，而不是直接在边缘设备上运行。 假设 Carter 机器人硬件，示例应用程序执行 2D 映射。Flat Lidar Scan 作为 消息。里程计框

GMapping 是一个使用 OpenSlam 软件库的地图生成工具。该应用程序允许您创建地图以在其他应用程序中使用。GMapping 应用程序使用 Carter 参考机器人的 LIDAR 功能。建图是一项计算密集型和存储密集型活动，可能需要微调才能生成合适的建筑地图。为获得最佳结果，请记录您的建图日志并离线调整 GMapping 参数。根据机器人的能力，利用里程计或机器人姿势的姿势树。使用惯性测量单元 (IMU) 来改进结果。

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.html功能用于以下应用程序：使用运动结构的 3D 重建视觉里程计（运动跟踪）和 SLAM基于内容的图像检索图像对齐和全景拼接“ORB”代表“Oriented FAST and rotated BRIEF”。 这表明 ORB 基于特征检测器 FAST 和二进制描述符 BRIEF。Rublee 等人的原始出版物，标题为“ORB：SIFT 或 SURF 的有效替代品”，可在此处找到：h

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.htmlNVIDIA DeepStream SDK 为基于 AI 的视频和图像感知以及多传感器处理提供了完整的流分析工具包。 DeepStream 是 NVIDIA Metropolis 不可或缺的一部分，NVIDIA Metropolis 是构建端到端服务和解决方案的平台，可将像素和传感器数据转化为可操作的见解。Isaac SDK 附带各种针对机器人用例量身定制的媒体采集、发布、

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.html窗口 [1] 的上半部分显示当前所选地图中的地图图层。 窗口 [2] 的其余部分显示有关地图和图层的信息。 支持三种类型的图层。OccucpancyGridMapLayer：一个密集的矩形地图，每个像素存储一定的信息。WaypointMapLayer：一个简单的图层，用于存储称为航点的可注释兴趣点。PolygonMapLayer：在局部图层坐标系中存储多个多边形的图层。信息

机器人技术需要能够检测和估计姿势、跟踪和估计未来状态以及推理这些状态以对各种铰接物体做出决策的应用程序。 此类对象的主要示例包括人、机器和无生命对象。 人的姿势估计特别复杂，因为他们行为的复杂性和服装的多样性。 数据概率分布的偏差和数据中罕见案例的存在进一步放大了这种复杂性。

真实世界拍摄的图像有一定的缺陷，包括：* 几何畸变（和其他光学像差）* 噪音* 渐晕* 颜色不平衡本节介绍用于校正几何失真的可用资源。大多数计算机视觉算法对渐晕和色彩平衡不敏感。 它们被设计为对噪声具有鲁棒性，但它们往往依赖于理想的透视图像，也称为针孔图像，不会出现失真。

超像素是一组外观相似的相连像素。 超像素分割将图像分成数百个不重叠的超像素（而不是数千或数百万个单独的像素）。通过使用超像素，您可以在更有意义的区域上计算特征，并且可以减少用于使用算法的输入实体的数量。

ISAAC教程合集地址:从单个 RGB 图像执行已知对象的检测和 3D 姿态估计。它使用深度学习方法来预测对象 3D 边界框的角点和质心的图像关键点，并使用 PnP 后处理来估计 3D 姿态。该算法不同于现有的Pose CNN模型；因此，它为 Isaac SDK 中的 3D 姿势估计工具集提供了更多多样性。

ISAAC教程合集地址:3D 物体姿态优化在操作等应用中起着至关重要的作用，在这些应用中，检测到的物体的位置会影响机器人的整体性能。Isaac SDK 中的 3D 对象姿势优化应用程序提供了测试和运行优化算法的框架。本应用中使用的算法基于迭代最近点 (ICP) 算法。它使用 Rusinkiewicz 的对称 ICP 工作，其中，对于给定的表面 P 和 Q，使用具有两个表面法线的对称函数而不是将表面视为点和平面来更稳健地确定点到平面误差。应用概述。

物体检测和 3D 姿态估计在机器人技术中起着至关重要的作用。 导航、对象操作和检查等各种应用都需要它们。 Isaac SDK 中的 3D 对象姿态估计应用程序提供了一个框架，可以完全在模拟中训练任何模型的姿态估计，并在模拟和现实世界中测试和运行推理。

AprilTags 是一种流行的基准标记形式。 它在机器人技术中有广泛的应用，包括对象跟踪、视觉定位、SLAM 精度评估和人机交互。 Isaac 通过利用 GPU 加速提供实时 AprilTag 检测，同时实现高解码稳健性。

自由空间深度神经网络 (DNN) 的目标是将图像分割成感兴趣的类别，例如可驾驶空间和障碍物。 DNN 的输入是单目图像，输出是逐像素分割。 该软件包可以轻松地在模拟中训练自由空间 DNN 并使用它来执行真实世界的推理。 虽然这个模块化包可以为各种应用程序提供动力，但本文档说明了室内自由空间分割和室外人行道分割的工作流程。

机器人硬件包括许多不同的部件，可以通过各种方式启动。 示例包括微分基础、完整基础或由关节位置或关节速度控制的多关节臂。 在 Isaac SDK 中，各种节点（如全局路径点规划器、局部轨迹规划器、控制器和驱动器）需要交换消息以传达机器人硬件的状态和命令。 此外，不仅需要单个状态，有时还需要状态的时间序列、时间序列的批次或携带有关多个实例的信息的状态。为了解决这种消息传递需求的多

该包为拾取和放置场景提供了一个应用程序脚手架。 它具有执行拾取和放置任务所需的高级步骤，并与两种类型的机器人操纵器接口：UR10 手臂和 Franka Emika 手臂。 此示例应用程序中使用的功能包括致动器控制、物体检测和抓取。

此示例使用 Jupyter Notebook 提供交互式联合控制。 这是处理用于操作组件（包括 LQR 规划器）的 CompositeProto 消息的一个很好的起点。

为了控制机器人手臂的运动，需要数学表示法来计算执行器输入并为轨迹规划器表示障碍物。 为实现这一点，操纵运动学 GEM 将铰接式机器人系统表示为连接的刚体，并在配置空间和笛卡尔空间之间转换机器人状态。

ISAAC教程合集地址:：使用逆运动学将末端执行器的笛卡尔目标转换为关节角度目标。此小码可以接收笛卡尔目标（3d 姿势）作为复合消息，或从姿势树中读取。：生成轨迹以将关节列表从起始状态移动到目标状态。该组件包含消息的通用解析代码，并且需要一个额外的组件来实现 MultiJointPlannerInterface。：使用 LQR 实现。LQR 求解器将每个关节独立对待，并自动调整时间以找到不超过最小和最大速度和加速度约束的有效轨迹。它还确保轨迹中的最后一个状态是接收到的目标。

要自定义图形，请编辑文件。包含用于计算与沿轨迹状态相关的成本的构建器列表，而包含与控制相关的成本。"lqr" : {这里我们定义了与控制相关的成本的根和与状态相关的根：对于控件，我们有一个类型为 isaac.planner_cost.RangeConstraintsCostBuilder 的成本对于状态，根是 isaac.planner_cost.AdditionBuilder 类型，这意味着我们将添加成本列表。

Isaac SDK 中的标准导航规划器指示机器人在避开障碍物的同时采用最短路线到达目标。 但是，对于许多环境，您可能需要指定限制区域或为机器人提供交通规则。

定位器是导航堆栈的关键部分，因为了解机器人的位置对于正确导航到目的地至关重要。 因此，快速准确的定位至关重要。

控制机器人运动的传统方法是使用直接连接到机器人的操纵杆。 但是，在 Isaac 中，Virtual Gamepad Sight 小部件可用于通过网络向机器人发送模拟传统操纵杆轴的信号。 该小部件允许三种输入机制

局部地图是机器人周围直接环境的基于网格的简化表示。 这些简化的世界表示对于安全地规划机器人附近的静态和动态障碍物至关重要。

Isaac 框架中的全局规划器问题被分解为三类：规划器模型、可见性图算法和优化器。

Carter 是一个机器人平台，使用 Segway 的差分底座、用于 3D 范围扫描的 Velodyne P16、ZED 相机、IMU 和 Jetson TX2 作为系统的核心。 与定制安装支架一起，它为 Isaac 导航堆栈提供了一个强大而稳健的演示平台。

为了赋予地图区域关于通过它们规划的路径的语义意义，引入了三个新的规划器影响区域