Ubuntu20.04 ISAAC SIM仿真下载使用流程

已于 2024-04-20 10:09:12 修改
阅读量1.5k 收藏 31
点赞数 38
分类专栏： 笔记 文章标签： 深度学习 笔记 学习
于 2024-04-17 11:51:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_61044335/article/details/137866781
版权

机器：华硕天选X2024

显卡：4060Ti

ubuntu20.04

安装显卡驱动版本：525.85.05

参考：

What Is Isaac Sim? — Omniverse IsaacSim latest documentation
Isaac sim Cache 2023.2.3 did not work_isaac cache stopped-CSDN博客

Isaac Sim详细安装使用教程-CSDN博客

在4.16的笔记中已经完成了ubuntu20.04安装、显卡驱动安装：

记录ubuntu20.04安装nvidia-525.85.05显卡驱动（学习笔记2024.4.15、4.16）-CSDN博客

一.Isaac Sim介绍

NVIDIA Isaac Sim 是一款可扩展的机器人仿真应用程序和合成数据生成工具，基于 NVIDIA Omniverse™ 平台构建。它利用 Omniverse Kit 强大的仿真技术，包括使用 PhysX 5 进行高级支持 GPU 的物理模拟、具有实时光线和路径追踪的照片级逼真度，以及对基于物理的渲染的 MDL 材质定义支持。

Isaac Sim 是一个物理精确的虚拟环境，用于开发、测试和管理基于 AI 的机器人，它为构建虚拟机器人实验提供了基本功能，包括导入机器人模型以及仿真 RGB-D、激光雷达、接触、超声波和 IMU 等传感器。

Isaac Sim 支持通过 Python、ROS 和 Isaac SDK 进行导航、操作、深度学习应用程序对于人工智能应用程序，有很多种类工具包，例如用于合成数据生成和域随机化的 Isaac Replicator、用于强化学习的 Isaac Gym 和用于高级决策编程的 Cortex。

1.1 平台支持

Isaac Sim中显示目前平台支持Windows和Linux。

在下方链接中写着“The Isaac Sim container is only supported on Linux.”是因为开发者支持的Windows为测试版本，这句提示没有修改，实际上windows是可以使用的。

而相对的，Linux有官方完整的Demo演示功能介绍和相关文档，相对完善，推荐使用Linux。

Isaac Sim Requirements — Omniverse IsaacSim latest documentation

1.2  系统架构

1.3 开发流程

1.4 Omniverse 工具包

Omniverse Isaac Sim 使用英伟达™ Omniverse™ Kit SDK，这是一个用于构建原生 Omniverse 应用程序和微服务的工具包。Omniverse Kit通过一系列轻量级插件提供了多种功能。插件采用C语言接口编写，以实现持久的API兼容性；不过，还提供了一个Python解释器，以方便用户编写脚本。

1.5 Omniverse Nucleus

Omniverse Isaac Sim 使用英伟达™ Omniverse™ Nucleus 访问环境和机器人的USD文件等内容。Omniverse Nucleus服务允许各种客户端应用程序、渲染器和微服务共享和修改Omniverse Isaac Sim中的虚拟世界。

Nucleus以发布/订阅模式运行。根据访问控制，Omniverse 客户端可以向 Nucleus 数据库（DB）发布对数字资产和虚拟世界的修改，也可以订阅他们的修改。更改会在连接的应用程序之间实时传输。数字资产可以包括几何图形、灯光、材料、纹理和其他描述虚拟世界及其随时间演变的数据。

1.6 USD

Omniverse Isaac Sim 使用 USD 交换文件格式来表示场景。通用场景描述（USD）是一种易于扩展的开源三维场景描述和文件格式，由皮克斯公司开发，用于内容创建和不同工具之间的交换。由于其强大的功能和通用性，USD 被广泛采用，不仅在视觉特效界，而且在建筑、设计、机器人、制造和其他学科也得到了广泛应用。

二.系统要求

截止2024.4.16，更新速度很快，说不定什么时候就换新了

驱动建议跟着官方文档来，这里我下载的525.85.05版本

2.1 下载Nvidia显卡驱动

1.下载NVIDIA-Linux-x86_64-525.85.05

sudo apt-get update
sudo apt install build-essential -y
wget https://us.download.nvidia.com/XFree86/Linux-x86_64/525.85.05/NVIDIA-Linux-x86_64-525.85.05.run
chmod +x NVIDIA-Linux-x86_64-525.85.05.run
sudo ./NVIDIA-Linux-x86_64-525.85.05.run

如果在安装驱动时遇到以下报错内容

ERROR: An NVIDIA kernel module ‘nvidia-drm’ appears to already be loaded in your kernel. This may be because it is in use (for example, by an X server, a CUDA program, or the NVIDIA Persistence Daemon), but this may also happen if your kernel was configured without support for module unloading. Please be sure to exit any programs that may be using the GPU(s) before attempting to upgrade your driver. If no GPU-based programs are running, you know that your kernel supports module unloading, and you still receive this message, then an error may have occured that has corrupted an NVIDIA kernel module’s usage count, for which the simplest remedy is to reboot your computer.

则意味着你已经有一个显卡驱动了，如果你要装新的，就需要将上一个完全卸载掉，不留痕迹。然后重启计算机就可以下载了。

2.2 设置Docker

1.使用脚本快速安装Docker

curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh

2.Docker安装后续步骤

sudo groupadd docker
sudo usermod -aG docker $USER
newgrp docker

3.验证Docker是否安装成功

docker run hello-world

2.3 安装NVIDIA工具包

1.配置仓库

这是一行里面的，别拆

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list \
  && \
    sudo apt-get update

2.安装工具包

sudo apt-get install -y nvidia-container-toolkit

sudo systemctl restart docker

3.验证工具包是否安装成功

docker run --rm --gpus all ubuntu nvidia-smi

注意：对于远程用户，仍需要安装显卡驱动、docker、NVIDIA工具包，可以根据1.1中的链接进行下载安装

2.4 容器部署（可做可不做，不耽误后面进入isaacsim）

Isaac Sim 容器仅支持以无界面模式运行 Python 应用程序和独立示例。

如果需要运行全部功能，可以将2.4跳过直接看第三章。

nvidia-smi
docker login nvcr.io  #只输入这行就行，下面不用复制过去

Username: $oauthtoken
Password: <Your NGC API Key>
WARNING! Your password will be stored unencrypted in /home/username/.docker/config.json.
Configure a credential helper to remove this warning. See

credentials-store
Login Succeeded

这句代码会让你输入一些东西，分别是username，password。username输入$oauthtoken就行，password需要去NVIDIA官网里，跟着这个教程来：NGC User Guide - NVIDIA Docs

不想看英文就跟着我来（和官网内容是一样的）：

1.进入NVIDIA NGC

2.在里面输入高贵的邮箱信息

3.等待加载结束后，在右上角的个人信息中点击Setup

4.里面第一个和第二个都是钥匙，选第二个私人的

5.点击右上角的Generate Personal Key

第一个随便填，第二个随便填反正立刻就要用，第三个选NGC Catalog

6.得到一串key，这串key可以先放到哪个记事本里，一会儿如果不小心点错了还有机会补救（就显示这一次，关掉之后就再也看不见它了）

7.回到终端那步，输入完了username，password中将这一长串复制进去，OK，输出这东西

然后在终端中：（这个建议挂梯子，不然会因为网络不稳定经常下载失败）

docker pull nvcr.io/nvidia/isaac-sim:2023.1.1

接下来进入root根目录（这些是一行里面的，直接全复制走）

docker run --name isaac-sim --entrypoint bash -it --gpus all -e "ACCEPT_EULA=Y" --rm --network=host \
    -e "PRIVACY_CONSENT=Y" \
    -v ~/docker/isaac-sim/cache/kit:/isaac-sim/kit/cache:rw \
    -v ~/docker/isaac-sim/cache/ov:/root/.cache/ov:rw \
    -v ~/docker/isaac-sim/cache/pip:/root/.cache/pip:rw \
    -v ~/docker/isaac-sim/cache/glcache:/root/.cache/nvidia/GLCache:rw \
    -v ~/docker/isaac-sim/cache/computecache:/root/.nv/ComputeCache:rw \
    -v ~/docker/isaac-sim/logs:/root/.nvidia-omniverse/logs:rw \
    -v ~/docker/isaac-sim/data:/root/.local/share/ov/data:rw \
    -v ~/docker/isaac-sim/documents:/root/Documents:rw \
    nvcr.io/nvidia/isaac-sim:2023.1.1

下面这行命令会加载一段时间，不用担心，最后会编译着色器，打游戏的都知道，这玩意更新最慢了。

官方文档：（首次加载 Isaac Sim 将需要一段时间来缓存着色器。一旦着色器被缓存并且容器运行时挂载了缓存，后续运行 Isaac Sim 将会很快。请参阅在使用容器时将 Isaac Sim 配置和缓存保存到本地磁盘，以便使 Isaac Sim 配置和缓存持久化。）

./runheadless.native.sh -v

最后输出  Isaac Sim Headless Native App is loaded.  就没问题了

接下来，输入运行 Isaac Sim 容器的机器或实例的 IP 地址，然后点击“连接”按钮。就可以前往Isaac Sim界面了。

Isaac Sim 容器仅支持以无界面模式运行 Python 应用程序和独立示例。

如果需要运行全部功能，还是需要下载的。

三.下载Isaac Sim

下载时建议全程使用科学上网保证网速，下载东西不小，下载失败就不好了

3.1 Isaac sim下载

下载链接：

Isaac Sim - Robotics Simulation and Synthetic Data | NVIDIA Developer

3.2 Omniverse Launcher及后续下载

步骤3.1登记个人信息后，下载Nvidia Omniverse Launcher的安装包，ubuntu系统下载得到的是一个后缀为.AppImage的文件（omniverse-launcher-linux.AppImage）

下载后，将文件修改为可执行文件，就可以在终端中启动了

（因为 Isaac Sim 是依赖Nvidia Omniverse的，因此首先下载的不是Isaac Sim本身）

3.3 后续准备

在EXCHANGE中搜索Isaac Sim，下载

在EXCHANGE中搜索Cache，下载（本地缓存，加快Nucleus的交互速度）

在EXCHANGE中搜索Nucleus，下载

下载后，在NUCLEUS中，保证Local Nucleus Service的setting中所有东西都是正在运行中的 （如果出现某些选项是红色或是黄色的，reset all即可解决）

（我的图片里面不全，有些东西还在下，这里用一下别人的）

Isaac sim Cache 2023.2.3 did not work_isaac cache stopped-CSDN博客

3.4 上传文件

Local host的project，点击New Folder，将usd相关文件放上去即可（第一次可能会需要连接，输入账号密码后按指示来即可）

3.5 运行 Isaac Sim

导航栏中LIBRARY，点击LAUNCH/启动

第六个中ros选第一个就行，其余不用变，START

如果遇到警告：Failed to create any GPU devices, including an attempt with compatibility mode.

告诉你未能创建GPU，这意味着显卡驱动安装不完整，或者是CUDA安装不完整，卸载干净后重装就行了（这个报错网上你查不到解决办法，还不告诉你哪儿出了问题，我在这里卡了一天，就是因为之前有一个550的显卡驱动没卸载干净，有残留）。

四.Python环境

Isaac Sim 提供了一个内置的 Python 3.10 环境，建议使用python脚本的时候使用这个python环境

在从 Isaac Sim 根文件夹运行命令：    ./python.sh path/to/script.py

可以直接在 Isaac Sim 应用程序选择器的 Isaac Sim 根文件夹下打开终端

通过 pip 安装其他软件包时，使用：    ./python.sh -m pip install name_of_package_here

五.ROS环境

下载前关闭科学上网

我用的小鱼的一键下载，很是方便

sudo apt-get update
wget http://fishros.com/install -O fishros && . fishros

我使用的是ROS noetic，能用，还行

sudo_Ene
关注
  • 38
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Isaac Sim 安装踩过的坑
hongbinlin_ben的博客
12-05 3387
我的安装系统是 ubuntu 20.04, 下面分享下我安装Isaac Sim踩过的坑 1. 在安装出现以下类似问题 X Error of failed request: GLXBadFBConfig Major opcode of failed request: 153 (GLX) Minor opcode of failed request: 0 () Serial number of failed request: 275 Current serial number in output stre
4.13-4.15（Ubuntu18.04）--anaconda3、Isaac gym、Isaac sim
weixin_42421591的博客
04-15 1980
一、安装anaconda3 1.下载anaconda3：Anaconda | Anaconda Distribution 2.在终端进入下载： cd Download 或 cd 下载 3.运行.sh文件： bash Anaconda3-5.2.0-Linux-x86_64.sh 4.选项一个选no，其余的yes： “Do you wish to proceed with the installation of Microsoft VSCode? [yes|no]...
NVIDIA Isaac Sim 入门教程（一）
weixin_46300916的博客
01-15 2914
文档分为以下几个部分： 简介、安装指南、API 文档、教程、手册和参考资料。简介部分是对 Omniverse Isaac Sim 的基本概述，以及它如何融入 NVIDIA Omniverse™ 生态系统。它还概述了 Omniverse Isaac Sim 的架构、工作流程和文档布局。
Nvidia Isaac Sim ROS机器人仿真和AMR开发环境
zhangrelay的专栏
04-11 2386
效果非常赞。 ☞2020年最好的机器人学仿真工具软件汇总_zhangrelay的博客-CSDN博客_机器人仿真软件 由 Omniverse 提供支持的 NVIDIA Isaac Sim 是一种可扩展的机器人仿真应用程序和合成数据生成工具，可支持逼真、物理精确的虚拟环境来开发、测试和管理基于 AI 的机器人。 物流场景AMR 丰富场景生成器 导航 逼真的模拟 Isaac Sim 利用了 Omniverse 平台的强大模拟技术，包括使用 PhysX 5 支持 GPU 的高...
【深度学习】YOLOv5，金属表面的缺陷检测，GC10-DET数据集
q742971636的博客
04-26 420
数据集的lable文件夹下是每个图片的框和类别标记，是xml格式。
强化学习和深度学习的差异对比
天道酬勤
04-26 878
它是通过展示大量的图片和相应的标签（例如，“猫”、“狗”等）来学习识别模式的，就像是你通过看不同的猫的图片来学习认识猫一样。如果你的问题涉及到需要做出一系列连续的决策，并且需要考虑环境的反馈以优化某种目标（比如控制机器人、制定金融投资策略等），那么强化学习可能是更合适的选择。有时，深度学习和强化学习可以结合使用，形成深度强化学习（DRL），以利用深度学习在表征学习方面的优势，并将其与强化学习的决策能力结合起来。强化学习通常需要更少的标记数据，因为学习是通过与环境的交互来实现的，而不是直接从标记数据中学习。
探索PyTorch与深度学习：从基础到实践
windrainpy的博客
04-23 444
PyTorch是一个基于Python的科学计算库，它提供了强大的张量计算功能和自动求导机制，是构建深度学习模型的理想工具。PyTorch采用动态图计算的方式，使得模型的构建更加灵活，易于调试和理解。
深度学习基础之《TensorFlow框架（14）—TFRecords》
csj50的专栏
04-23 429
1、TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件。（3）将协议内存块序列化为字符串，并且通过tf.io.TFRecordWriter写入到TFRecords文件。（2）将数据填入到Example协议内存块（protocol buffer）3、文件格式*.tfrecords。一、什么是TFRecords文件。二、Example结构解析。
【TensorFlow深度学习】人工智能绪论与深度学习前瞻
yuzhangfeng的博客
04-23 912
此外，伴随着TensorFlow 2.0等高效深度学习框架的迭代升级，开发者将拥有更友好、更高效的开发环境，从而推动深度学习研究与应用的普及和深化。从最初的计算机辅助人类处理信息，到如今深度学习驱动的智能系统在众多领域实现类人甚至超越人类的表现，人工智能正以前所未有的速度改变着世界。特别是在2006年，Geoffrey Hinton等人的研究揭示了如何有效训练深层次神经网络，他们通过逐层预训练的方法，在MNIST手写数字识别任务上取得了突破性进展，并正式提出了“深度学习”的概念。
深度学习比较有用的网站
lin_FS的专栏
04-26 366
1.前沿论文学习和效果对比。2.前沿模型结构解析。3.图神经网络的实现。
关于深度学习图像数据集的主要问题和考虑事项
weixin_50233398的博客
04-26 189
现阶段图像数据集的主要问题和思考，可用于展望部分内容的撰写
深度学习之基于YOLOv5的山羊行为识别系统
最新发布
Q1744828575的博客
04-27 713
基于YOLOv5的山羊行为识别系统是一个结合了深度学习和目标检测技术的项目，旨在通过图像或视频实现对山羊行为的自动化识别和分析。下面是对该项目的简要介绍：一、项目背景与目标山羊行为识别在畜牧业、动物行为研究等领域具有重要意义。传统的手工观察和分析方法效率低下，且难以大规模应用。因此，基于深度学习的山羊行为识别系统应运而生，旨在通过自动化的方式实现对山羊行为的精准识别，提高分析效率，并为相关研究提供有力支持。二、技术原理该项目基于深度学习和目标检测技术，具体采用了YOLOv5算法。
基于VMD-CNN-BiLSTM-Attention组合模型时间序列预测
科学的N次方
04-26 548
VMD-CNN-BiLSTM-Attention组合模型是一种复杂的神经网络结构，用于时间序列预测。在训练过程中，通常使用已知的时间序列数据对模型进行监督学习，以调整模型的参数以使其能够更好地拟合数据。：BiLSTM是一种循环神经网络（RNN）的变种，能够捕捉时间序列数据中的长期依赖关系。需要注意的是，实现这样一个复杂的组合模型需要大量的计算资源和调试工作，同时也需要谨慎地调整每个组件的参数以获得最佳的性能。：CNN是一种经常用于处理图像数据的神经网络结构，但在时间序列分析中也有应用。
大话人工智能之训练数据集
wangjie_jack的专栏
04-26 478
通过在不同的超参数组合下训练多个模型，并在验证集上进行评估，我们可以找到最佳的超参数组合，从而进一步提升模型的性能。在模型训练过程中，验证集用来调整模型参数和超参数，以优化模型性能，避免过拟合，即验证集用于模型选择，并不参与学习参数的确定，而是为了选择出模型误差较小的模型参数和超参数。然而，仅仅依赖训练集上的性能来评估模型的好坏是不够的。在模型训练完成后，测试集用来评估模型的泛化能力（泛化能力即模型在未知数据上的表现），即测试集仅在训练完成后使用一次，评价最终模型的效果（其实，测试集可以跑多个epoch）
Pytorch与深度学习
weixin_54165147的博客
04-23 630
深度学习是一种基于神经网络的机器学习方法，通过多层次的非线性变换来学习数据的表示，实现对复杂模式的建模和识别。在深度学习中，常用的神经网络模型包括全连接神经网络、卷积神经网络（CNN）和循环神经网络（RNN）等。它通过卷积层、池化层和全连接层构成，其中卷积层可以提取输入数据的局部特征，池化层可以降低数据维度，全连接层则用于分类或回归任务。PyTorch 拥有庞大的用户社区和活跃的开发者社区，提供了丰富的文档、教程和示例代码，为用户提供了充足的学习资源和技术支持。### 2. PyTorch 的使用。
大话人工智能之（一）深度学习概念
wangjie_jack的专栏
04-26 229
机器学习是人工智能的一个分支，它是通过计算的手段，通过大数据所产生的经验来改善计算的性能。与传统的人工向机器输入知识的操作不同，机器学习是从大数据中获取经验，通过指定的算法自身从经验中学习到所需的知识，然后对用户进行特定场景的知识转化与推理输出。目前用的比较广泛的便是卷积神经网络。深度学习以原始数据作为算法输入，由算法将原始数据逐层抽象为自身任务所需的最终特征表示，最后以特征到任务目标的映射结束。而所谓的经验的积累，是机器存储的一种从大数据中摘取的事物的特征的数据，机器学习算法便于通过这些数据产生的模型。
kaggle之皮肤癌数据的深度学习测试
黄钢的博客
04-26 808
模型对基底细胞癌的错误预测最多，编码为3，其次是血管病变编码为5。黑素细胞痣编码为0，光化性角化病编码为4，误分率最低。还可以进一步调整我们的模型，使之更容易达到80%以上的精度。不过77.0344%的预测结果与人眼相比，该模型仍然是有效的。
Dropout Feature Ranking for Deep Learning Models
qq_43578042的博客
04-23 758
深度神经网络( Deep Neural Networks，DNNs )已经开始在生物学和医疗保健领域崭露头角，包括基因组学( Xiong et al . , 2015)、医学影像( Esteva et al , 2017)、EEG ( Rajpurkar et al , 2017)和EHR ( Futoma et al , 2017)。然而，DNNs是黑盒模型，因其不可解释性而臭名昭著。在生物学和医疗保健领域，为了推导出可以通过实验验证的假设，提供关于哪些生物学或临床特征驱动预测的信息是至关重要的。
ubuntu20.04 机械臂仿真
09-14
为了在Ubuntu 20.04上进行机械臂仿真，您需要按照以下步骤操作： 1. 安装ROS（如果已经安装，请跳过此步骤）： 在终端中输入以下命令以安装ROS： ``` sudo apt install ros-noetic-desktop-full ``` 2. 创建工作空间： 在终端中输入以下命令以创建一个名为"catkin_ws"的工作空间： ``` mkdir -p ~/catkin_ws/src cd ~/catkin_ws/ catkin_make ``` 3. 安装机器人驱动： 在终端中输入以下命令以下载UR机器人的驱动和相关包： ``` cd ~/catkin_ws/ git clone https://github.com/UniversalRobots/Universal_Robots_ROS_Driver.git src/Universal_Robots_ROS_Driver git clone -b calibration_devel https://github.com/fmauch/universal_robot.git src/fmauch_universal_robot git clone https://github.com/ros-industrial/ur_msgs.git src/ur_msgs rosdep update rosdep install --from-paths src --ignore-src -y ``` 4. 编译和设置环境： 在终端中输入以下命令以编译代码并设置ROS环境： ``` cd ~/catkin_ws/ catkin_make source ~/catkin_ws/devel/setup.bash ``` 5. 运行仿真： 现在，您可以运行机械臂仿真。具体的命令取决于您要使用的仿真软件或包。例如，您可以使用MoveIt！来进行运动规划和仿真。如果您已经安装了MoveIt！，您可以在终端中运行以下命令来启动MoveIt！仿真： ``` roslaunch ur_gazebo ur5.launch roslaunch ur5_moveit_config ur5_moveit_planning_execution.launch sim:=true roslaunch ur5_moveit_config moveit_rviz.launch config:=true ``` 请注意，以上步骤假设您已经在Ubuntu 20.04上安装了ROS和其他必要的依赖项。如果您还没有安装ROS，请根据您的系统和需求进行安装，并在上述步骤中相应地更改命令。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值