基于LM Studio的DeepSeek 本地部署

目录

前序准备：

一、下载安装

二、下载模型

方式一：客户端直接安装

1. 检查电脑硬件状况

2. 检查运行时环境（Runtime）

3. 搜索目标模型

4. 检查下载状态

5. 开始下载模型

方式二：从huggingface下载

1. 访问模型资源网站

2. 搜索适合的模型

3. 进入模型页面并下载

4. 确定本地存放路径

5. 将模型文件复制到指定目录

方式三：从魔搭社区下载模型

1. 访问魔搭社区模型库

2. 搜索并选择合适的模型

3. 下载 GGUF 格式的模型文件

4. 创建本地存储目录

5. 完成模型部署

三、使用模型

参考文章

---

DeepSeek R1 是一款开源的AI模型，支持在本地上硬件离线运行。

前序准备：

CUDA 驱动兼容性验证（Windows 系统）

• 版本检查：在命令行中执行 nvidia-smi 指令，确认 CUDA 驱动版本是否满足最低要求（≥11.8）。

• 说明：若版本低于 11.8，需更新 NVIDIA 驱动或安装适配的 CUDA Toolkit。

显存估算公式：显存需求 ≈ 模型参数量（B） × 参数精度（bytes） × 1.2（额外开销系数）

例如：14B 模型在 4-bit 量化（0.5 bytes/参数）下需求约为 14 × 0.5 × 1.2 = 8.4GB，与用户描述的 8GB 接近9。

• 硬件适配建议：对于显存有限的设备，建议选择 更低参数量（如 7B）或更高压缩率（如 Q3_K_S）的量化版本，以平衡性能与资源占用9。

模型参数量与显存关系：

• 量化技术的作用：4-bit 量化（如 Q4_K_M）可将模型显存需求压缩至原始需求的约 1/4，例如 7B 模型的原始显存需求约为 14GB，经 4-bit 量化后可降至约 3.5-4GB；14B 模型原始需求约 28GB，量化后约 7GB9。

• 显存 8GB 对应的模型规模：

  • 7B 模型：4-bit 量化后显存需求约 3.5-4GB，远低于 8GB。

  • 14B 模型：4-bit 量化后显存需求约 7GB，接近但略低于 8GB。

  • 32B 模型：4-bit 量化后显存需求约 14GB，需更高硬件支持9。

• 推测：若需占用约 8GB 显存，可能对应 更高精度量化（如 5-bit 或混合量化）的 14B 模型，或 未完全优化的 7B 模型（例如动态量化分配权重至 CPU 内存）。

一、下载安装

1. 下载LM Studio：访问LM Studio官网，下载适用于您操作系统的安装包。

1. 安装LM Studio：运行下载的安装包，按照提示完成安装。

2. 设置语言为中文：安装完成后，打开LM Studio，进入设置，选择中文界面。

二、下载模型

方式一：客户端直接安装

打开 LM Studio 应用程序。

1. 检查电脑硬件状况

首先，查看您的计算机硬件配置是否满足运行模型的需求。

2. 检查运行时环境（Runtime）

接下来，确认 LM Studio 是否成功加载了 GPU 的 CUDA 运行环境。如果 CUDA 加载成功，模型将利用 GPU 加速运行；否则，模型会默认使用 CPU，这可能会导致运行速度较慢。通常情况下，CUDA 库能够自动加载，但如果出现异常，您可能需要手动安装 CUDA 相关库文件。

3. 搜索目标模型

在 LM Studio 的界面中，输入或选择您想要使用的模型名称进行搜索。例如，您可以搜索像 DeepSeek、LLaMA 或其他兼容的开源大语言模型。

4. 检查下载状态

5. 开始下载模型

当一切准备就绪后，点击“下载”按钮，LM Studio 将自动从云端获取模型文件并保存到本地。下载完成后，您就可以直接在 LM Studio 中运行和测试模型了。

方式二：从huggingface下载

1. 访问模型资源网站

打开浏览器并访问以下网址：https://huggingface.co/lmstudio-community。这是 Hugging Face 提供的一个社区模型库，您可以在这里找到大量兼容的预训练模型。

2. 搜索适合的模型

3. 进入模型页面并下载

点击进入目标模型的详细页面，找到“下载”选项或相关链接，开始将模型文件下载到本地计算机。

4. 确定本地存放路径

5. 将模型文件复制到指定目录

将解压后的模型文件复制到 LM Studio 的模型存储目录中。此目录通常是 LM Studio 自动管理的文件夹，具体路径可以在软件设置或文档中查看。将模型文件粘贴到该目录后，LM Studio 应能够自动识别并加载新添加的模型。

方式三：从魔搭社区下载模型

1. 访问魔搭社区模型库

打开浏览器，访问魔搭社区的官方网站：魔搭社区。这是一个由阿里巴巴达摩院提供的开源模型平台，您可以在这里找到多种预训练模型以满足不同需求。

2. 搜索并选择合适的模型

在魔搭社区的模型库中，搜索符合您需求的模型。根据您的硬件配置（如显存大小、CPU/GPU性能等），选择适合的模型版本。例如，对于显存为6GB的设备，可以选择 DeepSeek-R1-Distill-Qwen-7B-GGUF 模型，该模型经过优化，能够在有限的硬件资源下高效运行。

3. 下载 GGUF 格式的模型文件

在模型详情页面中，选择 GGUF 格式的模型文件进行下载。GGUF 是一种轻量级的模型存储格式，具有较小的文件体积和较快的加载速度，非常适合资源受限的设备。点击下载按钮，将模型文件保存到本地计算机。

4. 创建本地存储目录

5. 完成模型部署

确保模型文件已正确放置在指定目录下。接下来，您可以启动 LM Studio 或其他兼容工具，加载该模型并开始使用。

三、使用模型

1. 加载模型并调整参数：下载完成后，选择模型，点击加载，并根据需要调整参数。

2. 测试模型：加载后，输入测试内容，验证模型运行效果。

参考文章

零基础本地部署DEEPSEEK大模型教程（LM Studio版）_lmstudio部署deepseek-CSDN博客

LM Studio本地部署DeepSeek-Windows系统_lm studio win7-CSDN博客