5.Isaac教程--创建Isaac应用

已于 2023-01-11 11:29:09 修改
阅读量819 收藏 2
点赞数 2
分类专栏： ISAAC_更多精彩内容请关注GTC2023 文章标签： opencv 人工智能 计算机视觉 NVIDIA 机器人
于 2023-01-07 21:23:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kunhe0512/article/details/128595567
版权

创建Isaac应用

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.html

本教程将指导您完成使用 Isaac SDK 创建机器人应用程序的过程，以视频输入的 OpenCV 边缘检测处理为例。

文章目录


本教程将指导您完成以下步骤：

  1. 使用 Isaac SDK 显示 USB 摄像头源。

  2. 使用 OpenCV 边缘检测处理相机提要并显示处理后的提要。

  3. 使用 OpenCV 边缘检测处理来自 Isaac Sim Unity3D 的模拟输入。

预安装

本教程需要以下硬件/软件：

  1. 安装了 Issac SDK 和所有先决条件以及 Isaac Sim Unity3D 的 Linux x86 机器。 有关详细信息，请参阅设置页面。

  2. 与 Video4Linux2 (V4L2) 驱动程序兼容的 USB 摄像头

显示相机源

第一步，我们将使用 Isaac V4L2 组件在 Linux x86 机器上捕获摄像头源并将其显示在 Websight 中。

注意

此应用程序的完整 JSON 和构建文件可在 //apps/samples/v4l2_camera 获得。

创建应用程序文件

在 Isaac //apps 目录的新文件夹中创建一个名为 v4l2_camera.app.json 的 JSON 应用程序文件。 添加如下所示的内容：

{
   "name": "v4l2_camera",
   "modules": [
     "sensors:v4l2_camera",
     "sight",
     "viewers"
   ],
   "graph": {
       "nodes": [
         {
           "name": "camera",
           "components": [
             {
               "name": "V4L2Camera",
               "type": "isaac::V4L2Camera"
             }
           ]
         },
         {
           "name": "viewer",
           "components": [
             {
               "name": "ImageViewer",
               "type": "isaac::viewers::ImageViewer"
             }
           ]
         }
       ]
}

应用程序“graph”定义了两个节点：一个“camera”节点，它使用 V4L2Camera 组件捕获相机提要，以及一个“viewer”节点，它使用 ImageViewer 组件在 Websight 中显示提要。 “modules”部分包括应用程序中的这些组件。

启用节点间通信

要启用“camera”和“viewer”节点之间的通信，请将 MessageLedger 组件添加到它们：

{
   "name": "v4l2_camera",
   "modules": [
     "sensors:v4l2_camera",
     "sight",
     "viewers"
   ],
   "graph": {
       "nodes": [
         {
           "name": "camera",
           "components": [
             {
               "name": "MessageLedger",
               "type": "isaac::alice::MessageLedger"
             },
             {
               "name": "V4L2Camera",
               "type": "isaac::V4L2Camera"
             }
           ]
         },
         {
           "name": "viewer",
           "components": [
             {
               "name": "MessageLedger",
               "type": "isaac::alice::MessageLedger"
             },
             {
               "name": "ImageViewer",
               "type": "isaac::viewers::ImageViewer"
             }
           ]
         }
       ],
}

使用“edges”小节将源“camera”节点连接到目标“viewer”节点。

"graph": {
    "nodes": [
      ...
    ],
    "edges": [
      {
        "source": "camera/V4L2Camera/frame",
        "target": "viewer/ImageViewer/image"
      }
    ]

配置组件

添加“config”部分以设置 USB 摄像头和 Websight 服务器的参数。 在“websight”部分中，“windows”子部分创建了一个窗口，用于在 Websight 中呈现摄像头源。

{
  "name": "v4l2_camera",
  "modules": [
    "sensors:v4l2_camera",
    "sight",
    "viewers"
  ],
  "graph": {
  ...
  },
  "config": {
    "camera": {
      "V4L2Camera": {
        "device_id": 0,
        "rows": 480,
        "cols": 640,
        "rate_hz": 30
      }
    },
    "websight": {
      "WebsightServer": {
        "port": 3000,
        "ui_config": {
          "windows": {
            "Camera": {
              "renderer": "2d",
              "channels": [
                { "name": "v4l2_camera/viewer/ImageViewer/image" }
              ]
            }
          }
        }
      }
    }
  },

创建 Bazel 构建文件

在与 JSON 应用程序文件相同的目录中创建一个名为 BUILD 的文件。 BUILD 文件指定应用程序的“名称”和应用程序使用的 Isaac 模块。 应用程序名称应与 <name>.app.json 应用程序文件名的 <name> 相匹配。

load("//bzl:module.bzl", "isaac_app")

isaac_app(
    name = "v4l2_camera",
    modules = [
        "sensors:v4l2_camera",
        "sight",
        "viewers",
    ],
)

运行应用程序

打开控制台窗口，导航到 Isaac 目录，然后按照入门页面中的描述运行应用程序：

bob@desktop:~/isaac/sdk$ bazel run //apps/samples/v4l2_camera

查看相机源

通过导航到 http://localhost:3000/，在 Web 浏览器中打开 Websight。 您应该在 Websight 的窗口中看到视频流。 如果不这样做，请确保选中左侧的 Channels > v4l2_camera 框。

要停止应用程序，请在控制台中按 Ctrl+C。

处理相机源

接下来，我们将构建在上一节中创建的应用程序图，以对相机源执行边缘检测。

注意

此应用程序的完整 JSON 和构建文件可在 //apps/tutorials/opencv_edge_detection 获得。 JSON 文件名为 opencv_edge_detection.app.json。

添加边缘检测节点

将第三个节点“edge_detector”添加到应用程序图中。 该节点将使用 Isaac EdgeDetector 组件对 V4L2 摄像头源执行边缘检测。

"graph": {
    "nodes": [
      {
        "name": "camera",
        "components": [
          {
            "name": "MessageLedger",
            "type": "isaac::alice::MessageLedger"
          },
          {
            "name": "V4L2Camera",
            "type": "isaac::V4L2Camera"
          }
        ]
      },
      {
        "name": "edge_detector",
        "components": [
          {
            "name": "MessageLedger",
            "type": "isaac::alice::MessageLedger"
          },
          {
            "name": "EdgeDetector",
            "type": "isaac::opencv::EdgeDetector"
          }
        ]
      },
      {
        "name": "viewer",
        "components": [
          {
            "name": "MessageLedger",
            "type": "isaac::alice::MessageLedger"
          },
          {
            "name": "ImageViewer",
            "type": "isaac::viewers::ImageViewer"
          }
        ]
      }
    ],

您还需要在“modules”部分添加 EdgeDetector 组件：

"modules": [
    "//apps/tutorials/opencv_edge_detection:edge_detector",
    "sensors:v4l2_camera",
    "sight",
    "viewers"
],

修改应用程序边缘

修改“edges”部分，使“camera”节点将提要传递给“edge_detector”节点，然后由“edge_detector”节点将处理后的提要发送给“viewer”节点。

"graph": {
    "nodes": [
      ...
    ],
    "edges": [
      {
        "source": "camera/V4L2Camera/frame",
        "target": "edge_detector/EdgeDetector/input_image"
      },
      {
        "source": "edge_detector/EdgeDetector/output_image",
        "target": "viewer/ImageViewer/image"
      }
    ]

修改构建文件

在应用程序构建文件中包含 EdgeDetector codelet：

load("//bzl:module.bzl", "isaac_app", "isaac_cc_module")

isaac_app(
    name = "opencv_edge_detection",
    modules = [
        "//apps/tutorials/opencv_edge_detection:edge_detector",
        "sensors:v4l2_camera",
        "sight",
        "viewers",
    ],
)

运行应用程序

运行应用程序：

bob@desktop:~/isaac/sdk$ bazel run //apps/tutorials/opencv_edge_detection

打开Websight。 您应该看到带有边缘检测的视频流。 如果不是这样，请确保选中左侧的 Channels > opencv_edge_detection 框。

处理来自模拟的输入

在这最后一部分中，我们将把我们的边缘检测应用程序与模拟机器人集成在一起。

注意

此应用程序的完整 JSON 和构建文件可在 //apps/tutorials/opencv_edge_detection 获得。 JSON 文件名为 opencv_unity3d.app.json。

更换相机节点

从应用程序图中删除“camera”节点。 将其替换为“simulation”节点，如下所示。 此节点中的子图允许应用程序访问来自 Unity3D 模拟的各种数据流，就好像它们是真实的传感器一样。 此子图还支持向模拟中的 Carter 机器人发送命令，但构建 App 教程中未涵盖该主题。

"graph": {
  "nodes": [
    {
      "name": "simulation",
      "subgraph": "packages/navsim/apps/navsim_navigation.subgraph.json"
    },
    {
      "name": "edge_detector",
      "components": [
        {
          "name": "MessageLedger",
          "type": "isaac::alice::MessageLedger"
        },
        {
          "name": "EdgeDetector",
          "type": "isaac::opencv::EdgeDetector"
        }
      ]
    },
   ...

添加第二个 Camera_Viewer 节点

为了将边缘检测输出与标准相机进行比较，我们希望在 Websight 中看到这两个流。 为此，添加第二个使用 ImageViewer 组件的节点。 在下面的示例中，两个节点分别命名为“edge_camera_viewer”和“camera_viewer”。

"graph": {
  "nodes": [
    {
      "name": "simulation",
      "subgraph": "packages/navsim/apps/navsim_navigation.subgraph.json"
    },
    {
      "name": "edge_detector",
      "components": [
        {
          "name": "MessageLedger",
          "type": "isaac::alice::MessageLedger"
        },
        {
          "name": "EdgeDetector",
          "type": "isaac::opencv::EdgeDetector"
        }
      ]
    },
    {
      "name": "edge_camera_viewer",
      "components": [
        {
          "name": "MessageLedger",
          "type": "isaac::alice::MessageLedger"
        },
        {
          "name": "ImageViewer",
          "type": "isaac::viewers::ImageViewer"
        }
      ]
    },
    {
      "name": "camera_viewer",
      "components": [
        {
          "name": "MessageLedger",
          "type": "isaac::alice::MessageLedger"
        },
        {
          "name": "ImageViewer",
          "type": "isaac::viewers::ImageViewer"
        }
      ]
    }
  ...

修改应用程序edges

在“edges”部分，修改第一“edges”，以便“edge_detector”节点接收来自模拟的输入。 为每个“查看器”节点包含一条边：“edge_camera_viewer”节点连接到“edge_detector”节点，而“camera_viewer”直接从模拟接收流。

"edges": [
      {
        "source": "simulation.interface/output/color",
        "target": "edge_detector/EdgeDetector/input_image"
      },
      {
        "source": "edge_detector/EdgeDetector/output_image",
        "target": "edge_camera_viewer/ImageViewer/image"
      },
      {
        "source": "simulation.interface/output/color",
        "target": "camera_viewer/ImageViewer/image"
      }
    ]

添加 WebSight 配置

在“config”部分，添加另一个窗口以显示另一个摄像头源。 请注意，您需要更改通道“name”以匹配修改后的节点名称。

"config": {
   "websight": {
         "WebsightServer": {
           "port": 3000,
           "ui_config": {
             "windows": {
               "Edge Detection": {
                 "renderer": "2d",
                 "dims": {
                   "width": 640,
                   "height": 480
                 },
                 "channels": [
                   {
                     "name": "opencv_unity3d/edge_camera_viewer/ImageViewer/image"
                   }
                 ]
               },
               "Color Camera": {
                 "renderer": "2d",
                 "dims": {
                   "width": 640,
                   "height": 480
                 },
                 "channels": [
                   {
                     "name": "opencv_unity3d/camera_viewer/ImageViewer/image"
                   }
                 ]
               }
             }
           }
         }
       }

我们还建议配置每个 ImageViewer 组件以减少资源消耗并使视频大小易于管理：

"config": {
    "edge_camera_viewer": {
      "ImageViewer": {
        "target_fps": 20,
        "reduce_scale": 4
      }
    },
    "camera_viewer": {
      "ImageViewer": {
        "target_fps": 20,
        "reduce_scale": 4
      }
    },

修改构建文件

要使用与 Unity3D 交互的“navsim_navigation”子图，您需要将其添加到 BUILD 文件中：

data = [
    "//packages/navsim/apps:navsim_navigation_subgraph",
],
modules = [
    "//apps/tutorials/opencv_edge_detection:edge_detector",
    "viewers"
],

启动Unity3D

在运行您的应用程序之前，您需要在 Unity3D 中启动“small_warehouse”示例场景：

bob@desktop:~/isaac_sim_unity3d$ cd builds
bob@desktop:~/isaac_sim_unity3d/builds$ ./sample.x86_64 --scene small_warehouse

Unity 窗口应打开，显示带有 Carter 机器人的仓库的俯视图。

运行应用程序

运行 Isaac 应用程序，它将从模拟中接收传感器数据：

bob@desktop:~/isaac/sdk$ bazel run //apps/tutorials/opencv_edge_detection:opencv_unity3d

在 Websight 中，您应该会看到模拟 Carter 的标准摄像头视图，以及经过边缘检测处理的视图。

接下来

现在您已经构建了几个应用程序，您可以准备探索 Isaac SDK 的其他方面：

  • 创建小码：本教程使用预先存在的小码来构建应用程序。 按照在 C++ 中开发小码教程学习如何构建您自己的小码。

  • 在真实机器人上运行应用程序：模拟之后，下一步是让您的应用程序在真实机器人上运行。 Isaac SDK 提供 NVIDIA Kaya 和 NVIDIA Carter 参考设计，以构建具有完整导航和感知能力的机器人。 请参阅 Jetson Nano 入门页面，了解如何将 Isaac 应用程序发布到 Jetson 设备。

扫地的小何尚
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python NVIDIA Isaac机器人平台开发教程之 03 使用Isaac SDK软硬件要求
iCloudEnd的博客
04-01 1691
概述 Isaac 是 NVIDIA 的智能机器人开放平台。Isaac SDK 提供了大量强大的 GPU 加速算法 GEM 用于导航和操作。Isaac SDK Engine 是一个框架，可轻松编写模块化应用程序并将其部署在真实机器人上。Isaac SDK 附带各种示例应用程序，从显示特定功能的基本示例到促进复杂机器人用例的应用程序。Isaac SDK 还与 Isaac SIM 协同工作，允许在虚拟环境中开发、测试和训练机器人。 使用Isaac SDK软硬件要求 Jetson 设备： Jetson AGX
A-Novel-by-Isaac-Tait:..
04-21
盖茨比的博客入门 使用此博客样板启动您的项目。 该入门工具随附了主要的Gatsby配置文件，您可能需要使用React的快速应用生成器来快速启动和运行。 还有其他更具体的想法吗？ 您可能需要查看我们充满活力的集合。 :rocket: 快速开始 创建一个Gatsby网站。 使用Gatsby CLI创建一个新站点，并指定博客启动器。 # create a new Gatsby site using the blog starter gatsby new my-blog-starter https://github.com/gatsbyjs/gatsby-starter-blog 开始开发。 导航到新站点的目录并启动。 cd my-blog-starter/ gatsby develop 打开源代码并开始编辑！ 您的站点现在在http://localhost:8000 ！ 注意：您还将看到第
10.Isaac教程--在Docker中通过模拟训练目标检测
专注于人工智能领域的小何尚
01-10 688
人工智能中的一个常见问题是训练样本的数据收集和标记。收集这些数据通常是一个耗费时间和资源的手动过程，而且通常不会涵盖难以重现的情况。Isaac SDK 通过使用 Isaac Sim Unity3D 从模拟环境生成数据集来解决此问题。在本教程中，您将使用迁移学习和来自模拟的数据集来训练对象检测网络。我们已经构建了一个 Docker 镜像，其中包含您需要的所有工具，以及一个您将用于训练的 Jupyter notebook。
17.Isaac教程--机器学习流程
专注于人工智能领域的小何尚
01-13 492
机器学习 (ML) 工作流是代码和示例的集合，旨在通过 Isaac SDK 加速 ML 的采用。 这些示例使用 Tensorflow 框架进行训练，但相同的原则和代码也适用于 PyTorch 等其他 ML 框架。
NVIDIA Isaac Sim 入门教程（二）
weixin_46300916的博客
01-30 2358
Omniverse Isaac Sim 的工作空间非常容易自定义。调整用户界面的大小、停靠、取消停靠、添加和移除面板都非常容易。进入顶部菜单栏，单击下拉菜单最下方的窗口 > 视口 > 视口 2（现在工作区中应该会出现一个名为 "视口 2 "的新视口。如果您想创建更多的视口，请按照相机检查器扩展进行操作。单击并拖动视口 2 的顶部标题以激活停靠部件。拖放到原始视口的右侧，将两个视口并排放置。单击并向左拖动视口 2 的左侧，使视口大小相等。
NVIDIA Isaac ROS - 入门教程（一）
weixin_46300916的博客
01-27 2190
欢迎访问 Isaac ROS，这是一套硬件加速、高性能、低延迟的 ROS 2 软件包，用于制造自主机器人，充分利用 Jetson 和其他英伟达平台的强大功能。英伟达 Jetson 平台运行在基于 Ubuntu Linux 的 JetPack 操作系统上。JetPack 5.x 是在 Ubuntu 20.04 Focal 的基础上构建的，这意味着由 ROS 2 Buildfarm 为 Ubuntu 22.04 Jammy 构建的 ROS 2 Humble 的 Debian 包不受支持。由于官方 ROS 2 B
57.Isaac教程--定位监视器
专注于人工智能领域的小何尚
02-04 753
ISAAC教程合集地址:检测异常系统状态并采取纠正措施有助于确保稳定的系统性能和与预期行为的最小偏差。为此，Isaac SDK 提供了一个监控框架，可以搭载多种系统观察组件。该框架目前包含专门用于监控机器人定位当前状态的组件。凭借其模块化方法，它可以针对个别场景和用例轻松定制。它由多个协同工作的组件组成：从各个评估器组件收集系统性能等级的中央监视器组件。定期将有关系统特定部分的性能等级发送到一个或多个连接的监视器组件的评估器组件。
butterfly.ql-isaac.cn
02-17
综上所述，"butterfly.ql-isaac.cn"项目可能是一个使用HTML5技术构建的Web应用，具有响应式设计和丰富的用户交互功能。通过分析其代码，我们可以学习到HTML的基本结构、语义化实践以及如何与CSS和JavaScript结合以...
isaac-flix
03-27
5. **CSS 自定义属性（变量）**：Isaac-Flix或许使用了CSS自定义属性，这是一种在CSS中定义变量的方法，允许在整个样式表中复用和动态更新值。 6. **CSS重置或 normalize.css**：项目可能包含了CSS重置，消除浏览器...
isaac-character-picker
05-22
总结起来，"isaac-character-picker"项目展示了C++在游戏工具开发中的应用，涵盖了面向对象编程、文件操作、GUI编程、事件驱动以及动画处理等多个方面。通过这个项目，开发者可以深入了解C++在实际项目中的使用技巧...
va-isaac-gui-pa:组装（品牌的）ISAAC应用程序的项目
05-05
要创建自己的定制商标的isaac版本，请将整个va-isaac-gui-pa项目存储到新的存储库中。 va-isaac-gui-pa项目具有一个配置模块和一个app-assembly模块。 在config模块中，您可以自定义捆绑包的各个方面。 /src/main...
50.Isaac教程--基于Elbrus立体视觉 VSLAM 的定位
专注于人工智能领域的小何尚
01-31 1155
ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.htmlElbrus 基于两项核心技术：视觉里程计 (VO) 和同步定位与地图绘制 (SLAM)。视觉里程计是一种用于估计相机相对于其起始位置的位置的方法。 此方法具有迭代性质：在每次迭代时，它都会考虑两个相应的输入帧（立体声对）。 在两个框架上，它都找到了一组关键点。 匹配这两组中的关键点可以估计相机在帧之间的过渡和相对旋转。Simultaneous Localization a
39.Isaac教程--使用 Pose CNN 解码器进行 3D 物体姿态估计
专注于人工智能领域的小何尚
01-25 1515
物体检测和 3D 姿态估计在机器人技术中起着至关重要的作用。 导航、对象操作和检查等各种应用都需要它们。 Isaac SDK 中的 3D 对象姿态估计应用程序提供了一个框架，可以完全在模拟中训练任何模型的姿态估计，并在模拟和现实世界中测试和运行推理。
【python】OpenCV—Shape Detection
bryant_meng
07-20 957
第二个参数是True或False，指定轮廓是否应该被近似为闭合的（通过连接轮廓的第一个点和最后一个点）。如果轮廓不是闭合的，但你不希望它被视为闭合的，应该传递False。需要注意的是，epsilon 的值是一个权衡参数，需要根据具体应用进行调整。这个函数在处理图像中的形状分析、轮廓检测等任务时非常有用。它接受一个轮廓（轮廓是一系列的点，通常通过边缘检测或轮廓查找算法获得）作为输入，并返回该轮廓的周长。contour：输入轮廓，应该是一个点集（通常是numpy.ndarray类型），这些点定义了轮廓的形状。
随机数种子的作用
帆的博客
07-23 643
设置随机数种子（random seed）的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列，从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态，使得在相同的种子值下，随机数生成器每次调用时生成的序列是相同的。
GPU算力：驱动现代计算的引擎
UnityBoy的博客
07-22 406
在当今的计算密集型应用中，GPU（图形处理单元）算力已成为推动科学计算、人工智能、数据分析等领域发展的关键因素。GPU最初设计用于处理复杂的图形和图像任务，但随着技术的进步，它们已经演变为通用并行计算的强有力工具。本文将探讨GPU算力的基本概念、重要性、应用场景以及如何充分利用GPU算力。
【保姆级教程】跑通YOLOv8-multi-task多任务模型
最新发布
m0_51579041的博客
07-23 181
【保姆级教程】跑通YOLOv8-multi-task多任务模型
python训练模型报错：BrokenPipeError: [Errno 32] Broken pipe
Dxy1239310216的博客
07-18 623
如果问题持续存在，并且你的项目不是必须在 Windows 上运行，考虑在 Unix/Linux 系统上运行你的代码。确保在数据加载器中使用的任何自定义函数或类都是可序列化的，因为多进程需要能够在不同进程间传递它们。进行多进程数据加载时尤其常见，尤其是在 Windows 系统上，因为 Windows 对多进程的支持与 Unix/Linux 系统有所不同。有时候，错误可能是由其他部分的代码引起的，而不是直接由数据加载器引起。如果问题依然存在，你可能需要更详细地检查你的代码或寻求更专业的帮助。
ChaosMeta for AI：混沌工程让AI稳定性更上一层楼
samson
07-18 779
混沌工程的核心思想是“通过在真实环境中引入故障，评估和提升系统的稳定性”。在实际应用中，这意味着通过故意制造各种错误和故障，观察系统的表现，从而找出和修复系统的脆弱点。随着AI系统逐渐成为现代技术的支柱，混沌工程的应用范围也在不断扩展。输出内容：模拟历史已发生的故障，如输出乱码，通过注入代码篡改故障，检验系统的容错能力，确保终端用户看到的是稳定可用的内容。任意代码篡改：模拟意外代码修改对输出的影响。输入内容：通过对抗性样本测试，确保模型的合规合法，符合伦理道德标准。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

扫地的小何尚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值