基于LMStudio本地部署DeepSeek R1

最新推荐文章于 2025-03-13 10:13:20 发布

数学难

最新推荐文章于 2025-03-13 10:13:20 发布

阅读量1.4k

点赞数 17

文章标签：人工智能

本文链接：https://blog.csdn.net/m0_72765822/article/details/145504492

版权

DeepSeek R1

DeepSeek R1是由DeepSeek团队开发的一款高性能AI推理模型，其开源版本包括完整的DeepSeek R1 671B权重，以及基于其蒸馏出的多个小型模型。

DeepSeek R1通过蒸馏技术将推理模式迁移到更小的模型中，显著提升了这些模型的推理能力。例如：

DeepSeek R1-Distill-Qwen-7B：在AIME 2024上达到55.5%，超越QwQ-32B-Preview。
DeepSeek R1-Distill-Qwen-32B：在AIME 2024上得分为72.6%，在MATH-500上得分为94.3%，在LiveCodeBench上得分为57.2%，这些结果显著优于之前的开源模型。

LM Studio是一款功能强大的桌面应用程序，用于在本地计算机上运行和管理大型语言模型（LLMs），支持离线运行，确保用户数据的隐私和安全。以下是关于LM Studio的详细介绍：

本地运行与离线支持：LM Studio允许用户在本地设备上运行LLMs，完全脱机运行，无需依赖云端服务。
丰富的模型支持：支持从Hugging Face下载多种开源模型，如Llama 2、Vicuna、Mistral、OpenOrca等。此外，它还支持Hugging Face上的任何ggml Llama、MPT和StarCoder模型。
用户友好界面：提供直观的图形化界面，方便用户进行模型搜索、下载和使用。
OpenAI兼容API：支持本地服务器模式，提供与OpenAI兼容的API接口，方便开发者集成和调用。
本地文档交互：用户可以将本地文件导入LM Studio，并与模型进行交互，实现文档内容的查询和分析。
模型微调与个性化训练：支持在本地数据集上对模型进行微调，以适应特定领域或任务。

下载与安装：
- 访问LM Studio官网，下载适合您操作系统的安装包。
- 安装完成后，打开LM Studio。
模型下载与使用：
- 在LM Studio主界面中，通过搜索栏查找并下载所需的模型。
- 下载完成后，选择模型并开始使用。
本地服务器模式：
- LM Studio可以作为本地服务器运行，提供与OpenAI兼容的API接口。
- 用户可以通过API接口在其他程序或应用中调用LM Studio。

优势：
- 隐私保护：所有数据和计算都在本地进行，确保数据隐私。
- 多功能集成：除了文本生成，还支持本地文档交互和模型微调。
- 强大的社区支持：通过Hugging Face集成，用户可以轻松访问和下载丰富的模型资源。
挑战：
- 硬件要求较高：高性能硬件是运行大型模型的必要条件。
- 技术门槛：尽管界面友好，但模型优化和微调仍需要一定的技术背景。

LM Studio为用户提供了一个灵活、强大的平台，适合对数据隐私要求较高的用户，以及希望在本地环境中运行和管理大型语言模型的开发者。

在LMStudio的官网下载对应的安装包，支持 Windows，Linux，MacOS。

下载完之后，打开文件，跟随指引正常安装。

LMStudio 的默认模型下载地址为 Hugging Face 平台，但由于众所周知的原因，我们需要设置一下国内可访问的 HF 镜像源。

打LMStudio的下载地址（最好用VScode打开）

将所有/huggingface.co/
全部替换成/hf-mirror.com/

https://huggingface.co/

https://hf-mirror.com/

将https://huggingface.co/全部替换为https://hf-mirror.com/，然后重新打开LMStudio即可。

打开软件后，是如下画面：

点击左边的放大镜，在搜索栏中搜索r1

然后点击下载按钮即可。

下载完毕之后就可以在主页面对话啦！

当然LMStudio也支持部署api

点击 LMStudio 主界面的第二个按钮，可以进入开发者界面，打开此处的 api 部署服务，并在 Setting 中选择全部打开，这样就算 windows 部署 LMStudio 之后也可以在wsl 中访问到服务。