玩转大语言模型——使用LM Studio在本地部署deepseek R1的零基础）教程

已于 2025-03-04 09:38:12 修改
阅读量988 收藏 4
点赞数 6
分类专栏： 玩转大语言模型 文章标签： 语言模型 人工智能 自然语言处理
于 2025-02-17 10:08:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DuLNode/article/details/145543584
版权

系列文章目录

玩转大语言模型——使用langchain和Ollama本地部署大语言模型
玩转大语言模型——三分钟教你用langchain+提示词工程获得猫娘女友
玩转大语言模型——ollama导入huggingface下载的模型
玩转大语言模型——langchain调用ollama视觉多模态语言模型
玩转大语言模型——使用transformers中的pipeline调用huggingface中模型
玩转大语言模型——transformers微调huggingface格式的中文Bert模型
玩转大语言模型——使用GraphRAG+Ollama构建知识图谱
玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的问题
玩转大语言模型——配置图数据库Neo4j（含apoc插件）并导入GraphRAG生成的知识图谱
玩转大语言模型——本地部署带聊天界面deepseek R1的小白教程
玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(Ollama+AnythingLLM)
玩转大语言模型——使用LM Studio在本地部署deepseek R1的零基础）教程
玩转大语言模型——Ubuntu系统环境下使用llama.cpp进行CPU与GPU混合推理deepseek
玩转大语言模型——使用Kiln AI可视化环境进行大语言模型微调数据合成

文章目录

前言

在前期的几个文章中我们已经介绍了很多带UI的本地化部署方式了，而今天我们要介绍的LM Studio，不仅可以实现本机的使用，还可以为其他软件或处于同一局域网下的其他计算机提供接口的调用，和其他本地部署软件配合起来使用更佳。本章将介绍在Windows环境下和Linux环境下下载并部署LM-Studio

Windows环境下载安装

官网：https://lmstudio.ai/
在官网上找到合适的版本直接下载
在这里插入图片描述
下载后根据指引安装，进入到页面后点击Get your first KLM
在这里插入图片描述
然后点右上角skip，进入到以下界面
在这里插入图片描述

Linux环境下载安装

下载

在这里插入图片描述
选择这个适用于Linux的软件版本，下载下来是这个这样的文件，一般是在/home/用户名/Downloads路径下
在这里插入图片描述

为文件赋予权限

sudo chmod u+x LM-Studio-0.3.10-6-x64.AppImage

增加权限后双击这个文件就可以运行了，不过在软件栏里并不能找到这个应用

将LM Studio添加到应用栏

抽取desktop文件和图标文件

./LM-Studio-0.3.10-6-x64.AppImage --appimage-extract

执行问命令后会在当前目录出现一个squashfs-root的文件夹
在这里插入图片描述
进入文件夹看到的这两个文件就是抽取出来的我们需要的文件
在这里插入图片描述
编辑lm-studio.desktop文件，把Exec和Icon替换成读者自己的路径即可

[Desktop Entry]
Name=LM Studio
Exec=/home/aixing/Downloads/LM-Studio-0.3.10-6-x64.AppImage --no-sandbox %U
Terminal=false
Type=Application
Icon=/home/aixing/Downloads/squashfs-root/lm-studio.png
StartupWMClass=LM Studio
X-AppImage-Version=0.3.10
Comment=Use the chat UI or local server to experiment and develop with local LLMs.
Keywords=developer;llm;
category=Development;Utility;
MimeType=x-scheme-handler/lmstudio;
Categories=Development;

需要特别注意的是，路径要求是绝对路径，查看路径的命令为pwd
在这里插入图片描述

添加并更新应用栏

将配置好的.desktop文件移动到应用目录下

cp lm-studio.desktop $HOME/.local/share/applications/

更新应用栏

update-desktop-database $HOME/.local/share/applications/

更新过后就可以看到应用栏上添加了LM-Studo了
在这里插入图片描述

修改配置

设置语言为中文

点击右下角这个标志
在这里插入图片描述
然后选择语言为简体中文
在这里插入图片描述

修改模型存储位置

点击左下角的Power User或者Developer
在这里插入图片描述
选择左侧文件夹的图标，然后更改模型路径。修改路径这一步的原因是，大语言模型占的存储空间一般都比较大，为避免过多占用C盘空间，一般换到其他盘符下，但如果C盘空间足够，可以跳过此步骤。
在这里插入图片描述

下载模型

特别注意的是，LM Studio中用到的模型格式均为gguf格式。
模型可以从modelscope或者hf-mirror下载，笔者在本篇中是使用modelscope中下载的deepseek R1-7B模型。

下载链接：https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/files

来到下载页面，发现有多个gguf模型，有满血7B模型和量化到各种程度的模型，建议参照模型大小是稍小于本地显存即可
在这里插入图片描述
查看本地显存的方式为：打开任务管理器，点击性能，查看NVIDAI的GPU内存
在这里插入图片描述

这里需要注意的是，LM Studio需要的模型需要放到二级目录下，我们需要在刚刚设置的模型目录下新建两级目录。为了方便辨别，笔者推荐将下载好的模型放在模型目录/模型名/模型版本路径下，比如笔者将
下载的gguf模型放到目录：模型目录/deepseek/DeepSeek-R1-Distill-Qwen-7B下。

模型加载与运行

点击上侧的按钮选择本地模型运行
在这里插入图片描述
选择好模型后进入对话界面
在这里插入图片描述
使用结束时记得点击Eject卸载模型，不然会一直占用显存
在这里插入图片描述

模型应用

上传附件

点击这个回形针，可以上传本地文档，
在这里插入图片描述
点击后进入以下界面，这一操作后，LM Studio会自动对文档做信息增强检索（RAG）。
在这里插入图片描述

笔者上传的是一个由AI生成的学校制度大纲，以这个为例问他主要介绍了什么
在这里插入图片描述
点击发送后会根据文档内容回答
在这里插入图片描述

提供API接口服务

点击左侧绿色按钮，然后加载模型
在这里插入图片描述
然后把Settings中的所有设置全打开，再点击左侧的按钮启动
在这里插入图片描述
如果在启动时右侧有以下报错，可以考虑修改一下端口号
在这里插入图片描述
笔者修改成了2345端口
在这里插入图片描述
右侧提示信息如下图所示说明能够正常应用
在这里插入图片描述
LM Studio所支持的接口调用与OpenAI的接口一致
在这里插入图片描述
为了快速验证是否可以正常使用，笔者直接打开之前文章中配置过的Anything LLM，点击设置并选择LLM提供者
在这里插入图片描述
选择LM Studio
在这里插入图片描述
如果在前面调整过端口，需要再点进去一次，更改端口，更改的端口要与之前修改的一致，笔者更改的是2345，所以这里也应该是2345
在这里插入图片描述
同时，如果在设置时没有自动弹出来模型，也需要自己设置一下
在这里插入图片描述
随后点击Save Settings保存后就可以使用Anything LLM调用接口了

玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(Ollama+AnythingLLM)
艾醒的博客
02-05 3157
最近deepseek模型可谓是非常火爆，尤其是deepseek R1的逻辑能力，并且deepseek R1还开放了多种参数大小的蒸馏模型，使得本地部署成为了可能。在本系列中上一篇介绍了在本地部署deepseek R1的用法，本篇将介绍如何部署本地大模型的数据库。
LM Studio+AnythinLLM，本地部署DeepSeek模型，并添加个人知识库.doc
02-11
LM Studio+AnythinLLM，本地部署DeepSeek模型，并添加个人知识库
DeepSeek大模型本地部署指南：基于Ollama和LM Studio的应用搭建
01-29
内容概要：本文档提供了两种不同的方式来部署深度学习语言模型 DeepSeek 至本地环境的方法介绍——一种通过Ollama工具，在不同操作系统上（Windows、Linux、macOS）的具体操作步骤进行了详细介绍；另一种为利用图形化的 LM Studio 完成建模的部署流程讲解，包含软件下载链接、环境准备以及相关指令的操作说明等内容。 适用人群：对大型语言模型有一定了解，并希望通过自定义方式将其应用于特定场景的技术从业者；对于想要研究或是实验DeepSeek这一开源大语言模型的研究员或者开发者来说是一份很好的参考资料。 使用场景及目标：适用于需要将最新的人工智能成果应用到实际项目开发过程中的团队或个人用户；帮助用户在本地机器上轻松设置并运行 DeepSeek 模型，从而满足本地推理、模型训练以及快速迭代等开发任务的需求；同时，也利于研究人员深入了解DeepSeek内部工作机制和技术细节。 其他说明：由于涉及到具体的系统命令执行及依赖库的安装，请严格按照文档指引进行操作，并注意系统资源管理，避免因磁盘空间不足导致的失败情况发生。
LM Studio 教程：通过暴露本地端口实现局域网内客户端调用（LM Studio 作为本地 LLM API 服务器）
学亮编程手记
02-22 3727
LM Studio 可以像 Ollama 一样通过暴露本地端口实现局域网内客户端调用。
LLM之LM studio：LM studio的简介、安装和使用方法、案例应用之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-05 3万+
​ LLM之LM studio：LM studio的简介、安装和使用方法、案例应用之详细攻略 目录 LM Studio的简介 LM Studio的安装和使用方法 LM Studio的案例应用 LM Studio的简介 LM Studio的口号是发现、下载并运行本地 LLMs。LM Studio 是一款桌面应用程序，可在您的计算机上运行本地大型语言模型（LLMs）。 官网：LM Studio - Discover, download, and run local
大模型的部署方法二：使用LM Studio部署
star_nwe的博客
07-26 4433
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
LM Studion 配置
风信子
12-27 2153
【代码】Windows LM Studion 配置。
Windows11 LM Studio更改模型下载路径
最新发布
love530love的博客
04-01 885
安装→查找默认下载路径→退出程序进程→备份默认下载目录到其他地方→复制默认下载目录到目标目录→删除默认下载路径→删除已复制的目标目录→为两个已删除的目录创建符号（硬）链接→把备份恢复到目标路径→重启电脑后 打开程序 验证。建议重启电脑（可选），打开LM Studio进入界面后，在搜索图标处查看并下载模型，打开目标文件夹验证模型文件是否已经正确下载在指定位置。比如备份到E:\Downloads\Other\目录下，则最终路径将会是“E:\Downloads\Other\.lmstudio”，
LM Studio 本地部署大模型，Error: fetch failed 的处理
chinagaobo的专栏
09-04 1万+
LM Studio 模型搜索Error: fetch failed 的处理
玩转大语言模型——本地部署带聊天界面deepseek R1的小白教程(ollama+chatbox)
艾醒的博客
01-31 3511
最近deepseek模型可谓是非常火爆，无论是逻辑能力还是知识层次都取得了很大的技术进步，最重要的是他完全开源，并且deepseek R1还开放了多种参数大小的蒸馏模型，使得本地部署成为了可能。经过实测，如果仅用于聊天消遣，不给模型较难的任务，1.5b的模型就已经有了一个很好的表现了，本章中将从零开始介绍本地部署deepseek R1，并且安装相关的可视化软件以供调用本地模型。
玩转大语言模型——使用langchain和Ollama本地部署大语言模型
艾醒的博客
01-30 2004
Ollama 是一个开源的大型语言模型服务工具，旨在简化在本地运行大语言模型的过程，降低使用大语言模型的门槛。用户可以在自己的设备上运行模型，无需依赖云服务或远程服务器，保护了数据隐私。支持 Windows、macOS 和 Linux 等多种操作系统，方便不同用户安装使用。在本篇中将介绍Windows下使用Ollama进行本地大模型的部署。
玩转大语言模型——使用GraphRAG+Ollama本地构建知识图谱（完全本地化，不依赖OpenAI）
艾醒的博客
01-16 2023
下载过程分为两种，一种是下载项目，另外一种是直接使用pip下载，两种用法最后的效果是一致的，如果不需要修改源码，可以选择pip方式下载，这样比较方便。不过当前的模型并不能直接拿来使用，我们需要修改一下，不如可能会出现一些奇怪的错误，笔者遇到的问题是在生成entities时识别不到entity。，如果是用项目方式下载，直接在项目下新建，如果是使用pip方式下载的，新建一个项目在新建的项目里新建文件夹。构建索引的过程就是构建知识图谱的过程，同样的，读者需要将笔者的路径替换为自己的路径。，修改以下两部分，将。
LM Studio windows系统断网教程，通过防火墙禁止联网
shaqilaixi2的博客
02-02 1563
使用LM Studio 进行大模型的使用，有时候需要断网，下面是断网教程。
使用LM Studio在本地运行LLM完整教程
deephub
12-17 1万+
打开“Model Configuration”，然后打开“Prompt Format”，向下滚动到“Pre-prompt / System prompt”，选择“>”符号打开。也就是说可以设定希望机器人如何行动，以及在它的回答中应该提供什么“技能”或其他特定的品质。对许多人来说，运行本地LLM需要一点计算机知识，因为它通常需要在命令提示符中运行它们，或者使用更复杂的web工具，如Oobabooga。点击左边的一个模型，右边就会显示可用的版本，并显示那些根据你的电脑规格应该可以工作的模型(#2)。
LM Studio模型本地化部署：快速入门指南！
会编程的吕洞宾的博客
02-18 1675
说明：此处我们需要修改两个文件，首先进入LM Studio的安装目录，此处以作者的为例，我的安装目录在D:\Develop\tools\LM Studio。最后将下载好的模型放在H:\models\lmstudio-community\DeepSeek-R1-Distill-Qwen-7B-GGUF。1.第一个文件，D:\Develop\tools\LM Studio\resources\app.webpack\main\index.js。选择Files and versions，下载对应的模型文件即可。
Mworks如何修改模型文件默认存储路径？
virgile24的博客
11-29 1105
模型文件存储位置：如果是顶层模型，默认为菜单“工具”→“选项”→“环境”路径属性页中设置的工作目录，单击浏览即可修改存储位置；如果是嵌套模型，默认为父模型文件的存储位置，不可修改。
LMstudio 部署模型后如何联网使用API
悟能的师兄的专栏
03-13 8954
当利我们用 LMStudio 完成了 DeepSeek 或者其他模型的部署之后，如果希望该服务能够被远程客户端所调用当前服务的API。注意：当前演示环境为Windows系统，其他桌面系统的操作方式类似。
大模型本地部署
zyzlhy的博客
09-04 4966
(1) 使用LMStudio，LM Studio 是一个桌面应用程序，允许本地运行大型语言模型（LLMs，LM Studio支持的是guff格式的模型，这类模型经过重新编译打包，整体尺寸更小，文件合一，非常适合移动和存储，尤其适合在迷你主机上运行。(1)打开LM studio之后，先点击本地模型管理，然后再点击更改模型路径，选择models根目录，选择好后会自动识别下面的模型文件 ( models文件夹下面必须有两级路径，否则识别不到模型 )官网：https://lmstudio.ai/
lm studio 本地部署deepseek r1
02-08
### 部署 DeepSeek R1 模型或服务 为了在本地部署 DeepSeek R1 模型或服务，在 LM Studio 中的操作流程涉及多个方面，包括环境准备、模型下载以及配置启动等。 #### 环境准备 确保本地开发环境中已安装必要的依赖项。对于 Python 开发者来说，通常需要有 Python 版本兼容的支持，比如 Python 3.x，并且建议创建虚拟环境来管理项目依赖关系[^1]。 ```bash python -m venv deepseek_env source deepseek_env/bin/activate # Linux or macOS deepseek_env\Scripts\activate # Windows ``` 接着更新 pip 并安装其他所需的库： ```bash pip install --upgrade pip pip install torch torchvision torchaudio # 假设使用 PyTorch 构建的模型 ``` #### 下载并加载 DeepSeek R1 模型 获取官方发布的预训练权重文件或是通过 API 请求获得最新版本。如果是在私有服务器上运行，则可能需要从内部存储位置拉取这些资源。一旦有了模型文件路径，就可以利用相应的框架加载它[^2]。 ```python import torch from transformers import AutoModelForSequenceClassification, AutoTokenizer model_name_or_path = "path/to/deepseek-r1" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForSequenceClassification.from_pretrained(model_name_or_path) device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) ``` #### 启动服务接口 为了让外部应用能够调用此模型的服务端点，可以构建 RESTful Web Service 或 gRPC Server 来暴露预测功能给客户端应用程序访问。Flask 是一种轻量级的选择用于快速搭建 HTTP 接口；而 FastAPI 则提供了更好的性能和异步支持[^3]。 ```python from fastapi import FastAPI from pydantic import BaseModel app = FastAPI() class InputText(BaseModel): text: str @app.post("/predict/") async def predict(input_text: InputText): inputs = tokenizer(input_text.text, return_tensors="pt").to(device) outputs = model(**inputs)[0].argmax().item() return {"prediction": int(outputs)} ``` 最后一步是将上述代码保存为 `main.py` 文件并通过命令行启动 FastAPI 应用程序： ```bash uvicorn main:app --reload --host 0.0.0.0 --port 8000 ``` 这样就完成了 DeepSeek R1 的本地化部署过程[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

艾醒(AiXing-w)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值