指定python使用的GPU序号

最新推荐文章于 2025-04-08 16:37:48 发布
最新推荐文章于 2025-04-08 16:37:48 发布
阅读量1.1k 收藏 6
点赞数 8
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vah101/article/details/135486716
版权
本文介绍了如何在Python环境中，通过设置CUDA_VISIBLE_DEVICES为0来指定使用GPU运行app.py脚本，重点讨论了GPU加速在深度学习中的应用和资源管理策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

CUDA_VISIBLE_DEVICES=0 python3 app.py 

vah101
关注
【llm对话系统】llm大语言模型推理之vllm多gpu批推理
kakaZhui的博客
01-26 1057
参数来控制使用多少个 GPU 进行模型加载和推理。GPU 编号从 0 开始。分配的 GPU 顺序一致。
为什么Python无法指定使用哪块GPU？如果试了两种方式都无效，那可能是因为序号不对应
weixin_43955436的博客
05-10 1604
直接上结论： 指定的GPU序号和真实的序号并不是一一对应。 代码中指定优先级高于shell指定 Pycharm全局搜索代码有没有其他地方有指定GPU CTRL+SHIFT+F (Windows) Command+Shift+F (Mac) 炼丹过程中，尝试了两种方式在代码中指定GPU，发现都没有正确指定，佛了。。全局搜索项目代码，其他没有任何地方指定了GPU。 方式1 – 终端： CUDA_VISIBLE_DEVICES=0 python code.py 方式2 – 代码内部指定： import
LLM 部署(3)——vLLM CPU 和 GPU 模式部署大语言模型
最新发布
哦豁灬
04-08 1716
vLLM的依赖包默认支持 GPU 部署和推理，如果使用CPU推理，需要根据vLLM源代码重新编译打包。frpc_linux_amd64文件默认在 HF 上，需要通畅的网络，百度网盘。需要下载vLLM源代码，自己编译打包和安装。(如是Windows WSL子系统，可以通过。参数启用 GPU 多卡分布式并行推理能力。vLLM目前只支持Linux操作系统。命令获取 WSL 的 IP 地址)客户端的使用方法，与之前完全一样。
vllm部署模型推理后怎么释放或者关掉占用的gpu资源
weixin_43744732的博客
05-21 5713
这里要代码释放gpu资源就需要实现close函数去手动关闭了，官方vllm目前没有实现关闭的函数，且目前vllm版本为vllm==0.4.0.post1。如果需要关闭占用的gpu资源直接关掉这个python进程就可以了。调用直接用http请求。
vllm指定gpu序号
qq_52024723的博客
10-30 1597
如果想要指定vllm serve 运行的1号gpu，不能仅仅在前面加CUDA_VISIBLE_DEVICES=1；还需要在参数里指定device = cuda,因为不指定的话默认device是auto。
【杂记】vLLM如何指定GPU单卡离线推理
LZXCyrus的博客
11-19 3581
vLLM如何指定GPU单卡/多卡离线推理
vllm框架大模型部署笔记
Gu_erye的博客
08-12 4670
注意：张量并行计算的并行度通常需要与指定的 GPU 数量保持一致。这是因为张量并行计算的核心思想是将模型的张量（如权重矩阵）分割成多个部分，并将这些部分分布到多个 GPU 上进行并行计算。：通过存储进程 ID，可以方便地管理和终止后台运行的程序。
在Win11上部署大模型推理加速工具vLLM
培根芝士的专栏
04-08 1万+
vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法PagedAttention，有效地管理注意力键和值。在吞吐量方面，vLLM的性能比HuggingFace Transformers(HF)高出 24 倍，文本生成推理（TGI）高出3.5倍。
【实践总结】vllm多卡推理
qq_41502855的博客
07-28 7899
多卡推理，设置tensor_parallel_size=2，服务：Flask + gunicorn。多卡推理结果, 推理耗时11s。为什么多卡推理耗时更长了😵‍💫。环境：2* A100 40G。模型：qwen2-7B。
【AI实战】大模型 LLM 部署推理框架的 vLLM 应用
Zack的博客
07-18 9758
大模型 LLM 推理框架的 vLLM 应用
python怎样使用远程gpu_连接远程服务器使用GPU-指南
weixin_39921224的博客
12-18 1114
(1)nvidia-smi 命令GPU：GPU 编号；Fan：风扇转速，从0到100%之间变动；Name：GPU 型号；Temp：温度，单位是摄氏度；Perf：性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能(即 GPU 未工作时为P0，达到最大工作限度时为P12)。Persistence-M：持续模式的状态。持续模式虽然耗能大，但是在新的GPU应用启动时，花费的时间更少，这里显...
矩池云｜Python生态下用GPU进行数据科学计算加速的实践经验&案例
矩池云的博客
06-08 1988
在数据科学计算的实践中，会时常面临着数据计算加速的场景，分享基于实践者自己的实际经验出发，阐述实践中GPU加速数据科学计算的适用性及其判断依据，并以案例展示GPU优化计算任务的一些方案。...
PyTorch 2.0 中设置默认使用 GPU 的方法
qq_42023999的博客
12-16 1468
在 PyTorch 2.0 中，默认情况下仍然是使用 CPU 进行计算，除非明确指定使用 GPU。torch.set_default_device 是 PyTorch 2.0 引入的新功能，用于设置默认设备，使得所有后续张量和模块在没有明确指定设备的情况下，会被创建在这个默认设备上。这在代码中提供了一种更简洁的方式来指定设备，而无需在每次创建张量或模型时手动指定。
GPU资源排队脚本，支持多个GPU资源(可指定GPU或指定排队运行次数)
weixin_40757206的博客
03-22 723
由于GPU资源在大部分时间会被较多人使用，而部分时间可能较少人或者没有人使用，这样就会在一定程度上噪声GPU资源的浪费，因此出于这个目的写了GPU资源的排队脚本，这里主要是针对多个GPU资源来实现的： 参考：https://blog.csdn.net/leviopku/article/details/102958166 代码如下： 下面展示一些。 import os import sys import time cmd = 'python xxx.py（py文件名）' def get_info():
利用免费 GPU 部署体验大型语言模型推理框架 vLLM
2201_75499313的博客
03-23 2645
vLLM 是一个快速且易于使用的 LLM（大型语言模型）推理和服务库。vLLM 之所以快速，是因为：最先进的服务吞吐量通过高效管理注意力键和值内存连续批处理传入请求使用 CUDA/HIP 图快速模型执行量化：GPTQ[1]、AWQ[2]、SqueezeLLM[3]、FP8 KV 缓存优化的 CUDA 内核vLLM 灵活且易于使用，因为它：与流行的 HuggingFace 模型无缝集成通过各种解码算法提供高吞吐量服务，包括并行采样、波束搜索等支持分布式推理的张量并行性支持流式输出。
Nvidia 系列 之 在 Ubuntu 22.04 中为 LLM 设置 Nvidia GPU
iCloudEnd的博客
08-01 383
在开始安装之前，我们先来了解一下要安装的内容：Nvidia 驱动程序 — 这是 Nvidia 的硬件驱动程序。安装前请先了解您的显卡型号。CUDA 工具包 — CUDA 工具包由 Nvidia 提供。它包含 GPU 加速环境中的库、编译器、开发工具和示例、CUDA 运行时等。cuDNN — Nvidia cuDNN 以 CUDA 深度神经网络为基础。它是一个针对 DNN 计算的高度优化的 GPU 加速库。
VLLM推理流程梳理
I good vegetable a!
08-14 2万+
本文在对VLLM进行解析时只关注单卡情况，忽略基于ray做分布式推理的所有代码。先从使用VLLM调用opt-125M模型进行推理的脚本看起： 可以看到这里创建了一个LLM对象，然后调用了LLM对象的函数。这就是vllm的入口点，接下来我们对LLM这个类的generaet过程进行解析。首先看一下LLM类的初始化函数： 可以看到LLM类似于对LLMEngine进行了封装，一个LLM对象对应了一个LLMEngine对象。接下来我们解析一下和，首先来看： 接下来对进行解析： 从的定义可以知道，它做了初始化token
大模型推理工具：vLLM的入门使用
热门推荐
2401_84215165的博客
04-08 2万+
vLLM是一个快速且易于使用的LLM推理和服务库。最先进的服务吞吐量使用PagedNote有效管理注意力键和值内存传入请求的连续批处理使用CUDA/HIP图快速执行模型量化：GPTQ、AWQ、SqueezeLLM、FP8 KV缓存优化的CUDA内核与流行的拥抱脸模型无缝集成高吞吐量服务于各种解码算法，包括并行采样、波束搜索等分布式推理的张量并行性支持流式输出与OpenAI兼容的API服务器支持NVIDIA GPU和AMD GPU（实验性）前缀缓存支持。
vLLM CPU和GPU模式署和推理 Qwen2 等大语言模型详细教程
老牛啊
08-11 3920
vLLM默认并不支持纯CPU模式部署和推理模式，老牛同学应网友要求，根据vLLM官网整理vLLM在CPU模式下如何部署和推理大语音模型，并以Qwen2为了进行验证和演示……
笔记本部署deepseek后无法使用GPU
03-11
<think>好的，我现在要解决用户提出的在笔记本上部署DeepSeek后无法使用GPU的问题。用户希望检查驱动程序安装、配置文件设置以及可能的兼容性问题。我需要一步步分析可能的原因和解决方法。 首先，用户提到的是笔记本部署，这意味着硬件环境可能与服务器不同，可能存在不同的GPU型号，比如常见的NVIDIA GeForce系列，而非服务器级的Tesla或A100。这可能涉及到驱动和CUDA版本的兼容性问题。 第一步，检查GPU驱动是否正确安装。用户需要确认NVIDIA驱动是否安装，并且版本是否支持所需的CUDA版本。可以使用nvidia-smi命令来查看驱动版本和GPU状态。如果驱动未安装，需要从NVIDIA官网下载对应笔记本GPU型号的驱动，尤其是笔记本可能有移动版GPU，比如Max-Q设计，可能需要特定的驱动版本。 接下来，检查CUDA和cuDNN的安装。DeepSeek可能依赖于特定版本的CUDA，例如11.x或12.x。用户需要确认安装的CUDA版本是否与DeepSeek要求的匹配。使用nvcc --version查看CUDA版本，如果未找到，可能需要安装CUDA Toolkit。同时，cuDNN的版本也需要与CUDA对应，并正确配置环境变量。 然后，考虑框架层面的兼容性，比如PyTorch或TensorFlow是否支持当前的CUDA版本。用户需要检查安装的深度学习框架是否通过conda或pip正确安装了GPU版本，例如torch.cuda.is_available()是否返回True。如果框架检测不到GPU，可能需要重新安装对应版本的框架。 配置文件设置方面，用户需要检查DeepSeek的配置文件，比如是否指定了GPU设备，或者是否有参数需要调整。例如，某些配置可能需要设置device: 'cuda:0'或者使用环境变量CUDA_VISIBLE_DEVICES来指定使用的GPU。 兼容性问题可能包括笔记本的GPU算力是否满足DeepSeek的要求。例如，较旧的GPU可能不支持某些算力（如Compute Capability），需要查看框架和模型的最低算力要求。NVIDIA官网可以查询GPU的算力，如果算力不足，可能需要更换硬件或调整模型。 此外，笔记本的双显卡切换问题也可能导致框架无法识别独立GPU。例如，Optimus技术可能导致默认使用集成显卡。用户需要在NVIDIA控制面板中设置全局使用独立GPU，或者为Python解释器单独设置使用高性能GPU。 资源分配问题也不容忽视，笔记本的GPU内存可能较小，导致模型无法加载。使用nvidia-smi监控内存使用情况，如果内存不足，可以尝试减小批次大小或模型尺寸。 最后，检查系统日志和框架的错误输出，寻找关于GPU初始化的错误信息。例如，CUDA driver version is insufficient之类的错误提示可以帮助定位问题。同时，参考DeepSeek的官方文档和社区资源，看看是否有特定的部署指南或已知问题。 总结下来，解决步骤大致是：确认驱动安装正确→安装合适的CUDA和cuDNN→验证框架的GPU支持→检查配置文件和环境变量→处理兼容性和资源问题→查看日志和文档。需要逐步排查每个环节，确保各组件版本兼容，并正确配置。</think>### 分步解决方案：笔记本部署 DeepSeek 后 GPU 无法使用的故障排查 #### 1. 验证 GPU 驱动与硬件识别 - **执行命令**： ```bash nvidia-smi ``` - 正常情况会显示 GPU 型号（如 GeForce RTX 3080）、驱动版本（如 535.113.01）和显存占用 - 若提示`NVIDIA-SMI has failed...`，说明驱动未正确安装[^1] - **解决方法**： 1. 访问 [NVIDIA 驱动下载页面](https://www.nvidia.com/Download/index.aspx) 2. 按笔记本 GPU 型号选择**移动版驱动**（注意带 Notebook 标识） 3. 安装时勾选`清洁安装`选项（Windows 系统） 4. 重启后再次验证`nvidia-smi` #### 2. CUDA 环境适配 - **版本匹配检查**： ```bash nvcc --version # 显示编译工具链版本 nvidia-smi | grep CUDA # 显示驱动支持的最高CUDA版本 ``` - 确保 DeepSeek 要求的 CUDA 版本介于这两个版本之间 - 示例：若`nvidia-smi`显示支持最高 CUDA 12.2，而 DeepSeek 需要 CUDA 11.8，需安装 CUDA 11.8 - **多版本管理**（推荐使用 conda）： ```bash conda create -n deepseek python=3.9 conda activate deepseek conda install cudatoolkit=11.8 cudnn=8.2 ``` #### 3. 框架层验证（以 PyTorch 为例） - **GPU 可用性测试**： ```python import torch print(torch.cuda.is_available()) # 应输出 True print(torch.cuda.get_device_name(0)) # 应显示 GPU 型号 ``` - **版本对应安装**： ```bash # 查看官方安装命令（示例） pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 ``` #### 4. 配置文件专项检查 - **设备指定配置**： 检查配置文件中是否包含以下内容： ```yaml computing_device: cuda:0 # 多GPU时可指定序号 mixed_precision: fp16 # 笔记本GPU建议开启混合精度 ``` - **环境变量设置**： ```bash export CUDA_VISIBLE_DEVICES=0 # Linux/macOS set CUDA_VISIBLE_DEVICES=0 # Windows ``` #### 5. 兼容性深度排查 - **GPU 算力验证**： 1. 查询 GPU 算力表（如 RTX 3060 为 8.6） 2. 检查框架最低要求（如 PyTorch 2.0 需要 ≥3.7） 3. 若算力不足，在代码中添加： ```python torch.backends.cudnn.enabled = False # 禁用 cuDNN 优化 ``` - **Optimus 双显卡处理**（Windows 特有）： 1. 右键桌面 → NVIDIA 控制面板 2. 管理 3D 设置 → 程序设置 → 添加 python.exe 3. 首选图形处理器选择"高性能 NVIDIA 处理器" #### 6. 资源监控与调优 - **实时监控**： ```bash watch -n 1 nvidia-smi # Linux ``` 观察`Volatile GPU-Util`和`Memory-Usage`指标 - **显存优化技巧**： ```python from accelerate import infer_auto_device_map device_map = infer_auto_device_modelloaded_model, max_memory={0: "10GB"}) ``` #### 7. 安全配置影响排查 - **检查防火墙设置**： - 临时关闭防火墙测试是否 GPU 可用 - 添加白名单规则允许 CUDA 通信（端口 8765-8965） - **虚拟环境验证**： 在 WSL/Docker 环境中部署时，需确保： ```bash docker run --gpus all -it ... # 必须包含--gpus参数 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值