解决LM Studio部署DeepSeek 1.5B无法调用GPU的问题

置顶 lwxmnb123

已于 2025-02-08 17:22:57 修改

阅读量6.1k

点赞数 10

分类专栏： AI大模型文章标签： ai 语言模型

于 2025-02-08 17:21:37 首次发布

本文链接：https://blog.csdn.net/lwxmnb123/article/details/145519647

版权

AI大模型专栏收录该内容

1 篇文章

订阅专栏

解决LM Studio部署DeepSeek 1.5B无法调用GPU的问题

在使用LM Studio部署DeepSeek 1.5B模型时，许多用户可能会遇到无法调用GPU的问题。尽管LM Studio支持GPU加速，但有时默认设置可能会导致软件无法正确识别和使用GPU。本文将介绍一个简单的解决方法，通过调整NVIDIA控制面板的设置，确保LM Studio能够调用GPU，从而提升模型推理的速度和效率。

问题背景

DeepSeek 1.5B是一个包含15亿参数的大语言模型，运行它需要较高的计算资源。虽然LM Studio支持GPU加速，但在某些情况下，软件可能会默认使用CPU而不是高性能的NVIDIA GPU。这会导致模型运行速度变慢，甚至无法充分利用硬件资源。

解决方法

通过调整NVIDIA控制面板的3D设置，可以强制LM Studio使用高性能的NVIDIA GPU。以下是具体步骤：

步骤1：打开NVIDIA控制面板

右键点击桌面空白处，选择“NVIDIA控制面板”。
如果找不到该选项，请确保已正确安装NVIDIA显卡驱动。

步骤2：进入3D设置

在NVIDIA控制面板中，点击左侧菜单中的“3D设置”。
选择“管理3D设置”。

步骤3：添加LM Studio程序

在“管理3D设置”页面中，切换到“程序设置”选项卡。
点击“添加”按钮，找到并选择LM Studio的可执行文件（通常是LM Studio.exe）。
- 如果找不到LM Studio，可以手动浏览到其安装目录。

步骤4：设置首选图形处理器

在“选择为此程序首选图形处理器”下拉菜单中，选择“高性能NVIDIA处理器”。
点击“应用”保存设置。

步骤5：重启LM Studio

关闭并重新启动LM Studio。
重新加载DeepSeek 1.5B模型，检查是否成功调用GPU。

验证GPU是否被调用

为了确认LM Studio是否成功调用GPU，可以按照以下步骤进行验证：

打开任务管理器（Ctrl + Shift + Esc）。
切换到“性能”选项卡，查看GPU的使用情况。
运行DeepSeek 1.5B模型，观察GPU的利用率是否显著提升。

如果GPU利用率明显增加，说明设置已生效，LM Studio正在使用NVIDIA GPU加速模型推理。
在这里插入图片描述

其他注意事项

确保驱动和CUDA版本兼容：
- 确保NVIDIA驱动和CUDA版本与LM Studio和DeepSeek 1.5B模型兼容。
- 可以通过NVIDIA官方网站下载最新驱动和CUDA工具包。
检查LM Studio版本：
- 确保使用的是最新版本的LM Studio，以获得最佳的GPU支持。
显存不足问题：
- 如果GPU显存不足，可以尝试使用量化版本的模型（如8-bit量化）来减少显存占用。
显卡直连：
- 该方法在使用时显卡连接模式为默认模式，并没有切换到显卡直连模式，有时间的同学可以尝试采用显卡直连模式后是否可以调用GPU。