Docker使用--NGC服务

最新推荐文章于 2025-02-24 17:06:08 发布
最新推荐文章于 2025-02-24 17:06:08 发布
阅读量970 收藏
点赞数
分类专栏： cuda Nvidia 文章标签： 容器 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43936828/article/details/115503549
版权
本文介绍了如何在NVIDIA NGC上查找并使用TensorRT的Docker镜像，包括不同版本如21.03-py3、20.03-py3、19.03-py3和20.09-py3对应的TensorRT和CUDA版本。通过docker pull命令，用户可以轻松获取并控制所需版本的TensorRT开发环境。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

非新装使用
记录以下nvidia-docker NGC 中 catalog tensorrt 出现的但是
https://ngc.nvidia.com/catalog/containers/nvidia:tensorrt/tags
版本对应和控制使用
1.docker pull nvcr.io/nvidia/tensorrt:21.03-py3
对应版本是 tensorrt 7.22 cuda 11.2
2.docker pull nvcr.io/nvidia/tensorrt:20.03-py3
对应版本是 tensorrt 7.0 cuda 10.2
3.docker pull nvcr.io/nvidia/tensorrt:19.03-py3
对应版本是 tensorrt 5.4 cuda 10.1
4.docker pull nvcr.io/nvidia/tensorrt:20.09-py3
对应 tensorrt 7.1.4 cuda 11.0

NVIDIA Jetson之docker容器使用
ZONGXP的博客
09-08 2398
jetson端docker使用方法
【ChatGPT给的解决方案：stylegan3 docker】
weixin_69275533的博客
05-23 549
ChatGPT给的解决方案：stylegan3 docker
Docker：使用Nvidia官方的pytorch、tensorflow、TensorRT镜像创建Container容器
u013250861的博客
02-24 6233
相信大家在学习新的知识前都遇到过开发环境安装不上，或者环境冲突和版本不匹配的情况，另外当我们想要安装多个版本的支持库时，在本地环境上直接安装往往会导致版本冲突的情况，如果我们使用虚拟机或者WSL技术新建一个完整系统，这又往往需要耗费很长时间，同时在我们学习深度学习等相关技术时，我们需要使用到显卡进行计算，虚拟机调用显卡很不方便，同时CUDA、cuDNN、cuBLAS、TensorRT等GPU计算支持库都有强版本依赖，手动安装需要耗费很长时间，因此本文介绍通过docker的容器技术来实现使用Nvidia官方提
AI模型部署：Triton+TensorRT部署Bert文本向量化服务实践
最新发布
2301_76161259的博客
02-24 1508
本篇介绍以Triton作为推理服务器，TensorRT作为推理后端，部署句嵌入向量模型m3e-base的工程方案和实现，句嵌入模型本质上是Bert结构，本案例可以推广到更一般的深度学习模型部署场景。前排提示，文末有大模型AGI-CSDN独家资料包哦！推理服务器和推理后端介绍TensorRT+Triton环境搭建Bert模型转化为ONNX中间表示ONNX中间表示编译为TensorRT模型文件Triton服务端参数配置Triton服务端代码实现Triton服务端启动。
tensorrt的安装和使用
zhuikefeng的博客
09-21 3273
提前安装好和，登录 NVIDIA 官方网站下载和主机 CUDA 版本适配的 TensorRT 压缩包即可。以 CUDA 版本是 10.2 为例，选择适配 CUDA 10.2 的。
使用Hexo搭建个人博客网站-02-安装Hexo
拿破仑940911
11-26 786
一、检查 Hexo 环境 打开 cmd 命令行，输入：hexo -v。 如果电脑上还没有安装 Hexo，则会如下图所示： 会提示不支持该条指令，则我们就需要按照后面的步骤一步步安装 Hexo。 如果电脑上已经安装了 Hexo，就会提示所安装 Hexo 相应的版本等信息（在我们后面完成安装之后即可看到），那么就可以直接忽略本篇博文后面的步骤了。 二、安装 Hexo 环境 在 cmd 命令行中输入：...
Tensorrt 安装及使用
zhibing_ding的博客
08-02 307
tensorrt
ngc-container-replicator:NGC容器复制器
05-03
NGC复制器 使用DGX（compute.nvidia.com）或NGC（ngc.nvidia.com）API密钥克隆nvcr... docker run --rm -it -v /var/run/docker.sock:/var/run/docker.sock -v /tmp:/output \ deepops/replicator --project=nvidia --
Qanything-docker-compose yaml文件（内含GPU 配置，备用学习）
消极的人永远是对的，积极的人选择勇往直前
07-05 715
【代码】Qanything-docker-compose yaml文件（内含GPU 配置，备用学习）
安装英伟达驱动、Docker和英伟达的NGC CLI
abcd4090的博客
11-15 555
安装英伟达相关的一些基础东西
docker镜像加速
热门推荐
曼陀罗的博客
07-30 1万+
这些加速站点原本为开发者和企业提供了快速访问和下载海外 Docker 镜像的能力,以下是一些可以用的镜像地址。将页面中展示的加速器地址记下来，例如 https://xxxxxx.mirror.aliyuncs.com。阿里云镜像加速器地址：https://xxxxxx.mirror.aliyuncs.com。Daocloud 镜像加速器地址：https://docker.m.daocloud.io。登录到阿里云控制台 https://cr.console.aliyun.com/1、配置阿里云镜像加速器。
常用镜像保存
weixin_41012399的博客
10-17 596
1.orin：部署用，https://docs.nvidia.com/deeplearning/frameworks/pytorch-release-notes/rel_22-04.html#rel_22-04。2.triton：部署用，nvcr.io/nvidia/tritonserver:24.09-py3 （较新，需要本地cuda版本较高）二、modelscope官方镜像。
TensorRT-LLM保姆级教程（二）-离线环境搭建、模型量化及推理
吃果冻不吐果冻皮
12-04 3195
接下来以Bloom模型为例，进行 TensorRT-LLM 开发实践。build.py：用于构建 TensorRT 引擎来运行Bloom模型。run.py：模型推理。：使用模型来总结 CNN Dailymail 数据集中的文章。：将HF格式的模型进行转换。支持 FP16支持 INT8 & INT4 仅权重量化支持 INT8 KV CACHE 量化支持SmoothQuant 量化支持张量并行大模型量化概述进行过简要概述，后续有时间更详细的梳理常见的一些大模型量化技术。
nvidia-docker的配置及使用
weixin_35848967的博客
09-11 4160
docker的安装 参考链接添加链接描述 nvidia-docker的安装 参考链接 nvidia-docker的使用 nvidia-docker run -it --shm-size=10g --runtime=nvidia -e NVIDIA_VISIBLE_DEVICE=0 nvcr.io/nvidia/tensorflow:20.03-tf2-py3 #对应tensorflow 2.1.0版本 nvidia-docker run -it --shm-size=10g --runtime=nvi
使用 Docker + NVidia 运行 Pytorch 验证 GPU 是否真的有效
ndscvipuser的专栏
03-11 3490
继续带 GPU 干活之旅，完成先决条件的理解与深入。
保姆级教程 - atlas500部署yolov3-tiny检测实时视频流[1] - 内网环境下docker部署atlas500 开发环境 [踩坑记录]
胡椒面er
04-29 3998
保姆级教程 - atlas500部署yolov3目标检测 [踩坑记录] — 本教程详细介绍在华为atlas500智能小站上，部署自己的darknet版本的yolov3目标检测模型 经过多次踩坑，总结到，还是要多看官方文档，论坛文章仅能作为借鉴。毕竟软件生态版本迭代较快。相关技术文章具有时效性，和您的软件环境也不一定匹配，但还是想系统整理出文章，一起沟通讨论。 本教程主要涉及以下四部分： 内网环境下DockerFile构建docker容器，并部署在atlas500（无法访问互联网） 原生darknet-yo
基于Jetson Xavier构建mmdeploy部署镜像流程
GeorgeGuo
03-11 4051
基于Jetson Xavier构建mmdeploy部署镜像流程
windows 下安装nvidia-docker
05-17
要在 Windows 上安装 nvidia-docker，您需要使用 Docker Desktop for Windows（2.2.0.0 或更高版本）和 NVIDIA GPU Cloud（NGC）账户。 以下是安装步骤： 1. 安装Docker Desktop for Windows 2.2.0.0 或更高版本。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值