用sudo配置GPU MPS，docker里面没效果

已于 2022-02-11 23:00:23 修改
阅读量1.8k 收藏
点赞数
文章标签： docker 运维 容器 gpu
于 2022-02-11 22:35:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ysh1026/article/details/122889799
版权
本文介绍了在Docker容器内使用sudo配置GPU Multi-Process Service (MPS)无法生效的原因，指出sudo仅在当前用户下提供root权限，而MPS设置并未影响到docker环境。解决方案是切换到root用户进行配置，以实现GPU资源的更高效利用，特别是在并发运行多个深度学习模型时。
摘要由CSDN通过智能技术生成 
# ====== 启动 =========
export CUDA_VISIBLE_DEVICES=0         # 这里以GPU0为例，其他卡类似
nvidia-smi -i 0 -c EXCLUSIVE_PROCESS  # 让GPU0变为独享模式。
nvidia-cuda-mps-control -d            # 开启mps服务 
# ====== 查看 =========
ps -ef | grep mps                     # 启动成功后能看到相应的进程
# ====== 停止 =========
nvidia-smi -i 0 -c DEFAULT       # 让GPU恢复为默认模式。
echo quit | nvidia-cuda-mps-control   # 关闭mps服务

需要在root用户下运行以上命令。

sudo只是在当前用户下拥有root权限，所以MPS的设置还是在当前用户下的，在docker里面的环境没变。

进入root用户

su

更改root用户密码

sudo passwd root

更改成功后nvidia-cuda-mps-server会把不同GPU进程包装到一个进程中，同时加载多个深度学习模型时，就不会像之前那样频繁保存和恢复GPU的上下文了，所以每个模型的速度就和单独跑每个模型时差不多了

最低0.47元/天 解锁文章
Zzzz26~
关注
MPS
wudanxiang的博客
09-23 1563
参考资料 https://baike.baidu.com/item/海森堡模型/22687310?fr=aladdin
docker安装MySQL5.7
Techflow的博客
10-16 129
docker安装MySQL MySQL镜像地址 https://hub.docker.com/_/mysql 1、获取mysql镜像 # 拉取镜像 docker pull mysql:5.7 docker中查看mysql镜像 docker image ls 2、运行mysql docker run --name mysql -e MYSQL_ROOT_PASSWORD=123456 -d -i -p 3306:3306 --restart=always mysql:5.7 以上参数说明 -
mps_docker:“学习有效的非全面重整计划的操纵状态和动作”的源代码-docker source code
03-25
安装 我们提供了一个Dockerfile来简化安装。 为了能够使用Dockerfile，您需要在系统上安装 。 要安装规划器，请拉出该存储库并获取所有子模块 git clone <this> cd <this> git submodule init git submodule update --recursive 遵循上的说明，如何正确设置文件夹box2d_catkin 。 从git submodule部分开始。 构建并运行docker镜像： docker build . -t planner docker run -it -e DISPLAY=$DISPLAY -e QT_X11_NO_MITSHM=1 -v /tmp/.X11-unix:/tmp/.X11-unix planner bash 运行计划器 在容器内，然后可以运行例如： rosrun plann
【Docker】Docker容器中安装python、cuda、cudnn、pytorch、opencv、tensorrt
最新发布
qq_42761751的博客
06-25 2172
是一个常用选项，用于自动确认所有提示。这意味着在运行命令时，不会提示用户进行确认操作，系统会自动回答“是”并继续执行。中科大: https://pypi.mirrors.ustc.edu.cn/simple/清华源：https://pypi.tuna.tsinghua.edu.cn/simple/阿里云：http://mirrors.aliyun.com/pypi/simple/豆瓣源：http://pypi.douban.com/simple/找到对应的cuda版本安装命令进行安装。
关于NVIDIA的MPS 执行
weixin_30394251的博客
12-06 1743
MPS的执行：主要看手册，https://docs.nvidia.com/deploy/pdf/CUDA_Multi_Process_Service_Overview.pdf 这里说一下，我需要的命令： 启动 mps-control export CUDA_VISIBLE_DEVICES=0 export CUDA_MPS_PIPE_DIRECTORY=/tmp/nvidia-mps e...
如何在docker中访问电脑上的GPU？如何在docker中使用GPU进行模型训练或者加载调用？
代码讲故事
02-02 2633
如何在docker中访问电脑上的GPU？如何在docker中使用GPU进行模型训练或者加载调用？
ubuntu下docker环境使用GPU配置
zysss_的博客
11-22 2249
在容器里面运行一下再验证一下，能正常显示上面那个图案就是能成功调用了，注意那个cuda版本要能显示，要是现实 N/A的话是不行的。docker的版本必须安装19.0版本以上的，这里也只讲19.0版本以上的使用方法。然后配置一下文件，这样容器才能使用runtime。cuda版本显示N/A的话用以下格式创建容器。本文主要讲述整个命令流程，具体讲解请看官网。运行该命令验证是否安装成功。和一篇总结得很详细的博文。然后按照以下格式创建容器。出现这个就是安装成功了。首先设置一下网络信息。
如何免sudo使用docker命令详解
09-30
在Linux系统中，`sudo`命令通常用于以管理员权限运行命令，这对于许多系统级操作是必要的，包括使用Docker。然而，频繁地使用`sudo`可能会带来不便，尤其是在需要连续运行多个Docker命令时。本篇文章将详细介绍如何...
不使用sudo 执行Docker命令的方法
01-20
默认安装完 docker 后，每次执行 docker 都需要运行 sudo 命令，非常浪费时间影响效率。 如果不跟 sudo，直接执行 docker images 命令会有如下问题： [liujun@li1581-58 ~]$ docker ps Cannot connect to the ...
nvidia显卡的Exclusive Process模式
热门推荐
boyStray的博客
04-05 1万+
利用nvidia显卡GPU进行神经网络训练的时候，可以使用Exclusive Process模式来提高效率。表示只能运行一个计算进程独占GPU。 使用nvidia-smi命令设置GPU的Compute Mode为Exclusive Process（老版本的cuda还有Exclusive Thead，已经废掉了） sudo nvidia-smi -c 3 怎么看现在GPU有没有计算进程，...
基于Volta MPS执行资源配置下的多容器共享GPU性能测试
beckham999221的专栏
01-25 7811
基于Volta MPS执行资源配置下的多容器共享GPU性能测试 终于有机会再V100上做实验啦，接上篇博客《你真得了解多个docker容器如何共享GPU么？》，继续在GPU共享的道路上徘徊摸索。。。 一、实验背景 一般而言，多容器共享GPU会引发资源竞争和浪费的问题，不仅GPU利用率不高，也无法保证QoS。当使用NVIDIA MPS时，MPS Sever会通过一个CUDA Context管理...
NVIDIA MPS详解
二爷的博客
06-13 1593
MPS多进程服务（Multi-Process Scheduling）是CUDA应用程序编程接口（API）的替代二进制兼容实现。从Kepler的GP10架构开始，NVIDIA就引入了MPS（基于软件的多进程服务），这种技术在当时实际上是称为HyperQ ，允许多个 流（stream）或者CPU的进程同时向GPU发射Kernel函数，结合为一个单一应用程序的上下文在GPU上运行，从而实现更好的GPU利用率。在单个进程的任务处理，对GPU利用率不高的情况下是非常有用的。
nvidia Multiple Process Service (MPS)
要努力成为很厉害很厉害的人哦
04-22 2007
What MPS is? MPS is a binary-compatible client-server runtime implementation of the CUDA API which consists of several components. Control Daemon Process – The control daemon is responsible for starting and stopping the server, as well as coordina.
你真得了解多个docker容器如何共享GPU么？
beckham999221的专栏
12-26 9161
引言 最近容器比较火，容器支持对CPU和内存的资源限制，但是GPU还不是很明朗，多个容器能不能共享一个GPU呢？如果共享的话，是并行的方式还是并发的方式呢？又如何确保GPU的资源能够被高效利用呢？本文，通过查阅大量官方文档，并通过实验验证，想一探究竟~ 问题描述 GPU是深度学习的利器，相比于CPU，并行化的执行方式能够实现更高的时间效率。同时，它的价格也比较昂贵，此次想要做实验的NVIDI...
docker_usb开发软件部署
weixin_34132768的博客
05-16 345
1、docker镜像包  (备注：61提供，带桌面版本) rayosx2.0.2.tar 2、paho-mqtt dnf install git -y git clone https://github.com/eclipse/paho.mqtt.python cd paho.mqtt.python python3 setup.py install 3、instal...
docker入门基本操作
ashiners的博客
09-12 1199
首先需要开启docker才可以使用，下面是开启docker和可能用到的一些命令： docker启动、关闭、暂停等（如果设置好开机自启动的话，这里就不用先启动docker了） sudo systemctl start docker#启动docker sudo systemctl enable docker#设置开机启动 sudo systemctl stop docker#暂停docker sudo systemctl restart docker#重启docker 现在可以用 Docker 来部署容器了，
找到了救命的东西 NVIDIA MPS (multi-process service)
weixin_30908649的博客
12-05 1131
 Available since CUDA 5.5  Formerly known as CUDA Proxy  Allows multiple CUDA processes to share a single GPU context  Pre-CUDA 4.0 APIs are not supported  Requirements  Unified Virtual Add...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值