用 LM Studio 1 分钟搭建可在本地运行大型语言模型平台替代 ChatGPT

最新推荐文章于 2025-04-06 18:06:19 发布
最新推荐文章于 2025-04-06 18:06:19 发布
阅读量6.8k 收藏 30
点赞数 16
分类专栏： AI全栈 文章标签： chatgpt 人工智能 lm-studio LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012723183/article/details/138137008
版权
LMStudio是一个允许用户在本地离线运行大型语言模型的平台，提供脱机功能、应用内聊天界面、模型下载支持（如GGMLLama、MPT和StarCoder）以及隐私保护。它旨在降低对云服务的依赖，适合研究人员和开发者在本地环境工作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

📌 简介

LM Studio是一个允许用户在本地离线运行大型语言模型（LLMs）的平台，它提供了一种便捷的方式来使用和测试这些先进的机器学习模型，而无需依赖于互联网连接。以下是LM Studio的一些关键特性：

  1. 脱机：用户可以在自己的笔记本电脑上运行LLMs，完全不需要在线连接。

  2. 用户界面：LM Studio提供了一个应用内聊天界面，用户可以通过这个界面与模型交互，或者使用一个与OpenAI兼容的本地服务器。

  3. 模型下载：用户可以从Hugging Face的🤗（即Hugging Face公司）仓库下载任何兼容的模型文件。

  4. 模型支持：LM Studio支持多种ggml Llama、MPT和StarCoder模型，这些模型都可以在Hugging Face上找到。

  5. 系统要求：为了运行LM Studio，用户需要M1/M2/M3 Mac，或者支持AVX2指令集的Windows PC。同时，它还提供了Linux系统的beta版本。

  6. 技术文档：LM Studio 提供了技术文档，以帮助用户更好地理解和使用这个平台。

  7. 项目支持：LM Studio的实现得益于llama.cpp项目。

  8. 隐私：当在本地运行模型时，没有信息被传输到云。尽管在使用GPT-4、Bard和claude 2等基于云的模型时，隐私问题可能被夸大了，但在本地运行模型可以避免任何问题。

  9. 实验：如果你看到了生成人工智能的价值，可以通过测试了解模型的细节并知道还有什么可用。

  10. 成本：开源模型是免费的，其中一些可以不受限制地用于商业。

LM Studio的目标是让大型语言模型更加易于访问和使用，同时减少对云服务的依赖，这对于希望在本地环境中进行模型训练和测试的研究人员和开发者来说非常有用。通过LM Studio，用户可以在自己的设备上探索和运行最新的语言模型，从而更好地控制数据隐私和安全性。

📌 使用说明

📍 下载安装

  • 官网下载地址：https://lmstudio.ai/

  • 按需选择要下载的版本【mac、windos、linux】

安装成功页面

📍 调整模型存储路径

  • 调整存储目录，方便管理，特别是 windos ，不要放默认的 C 盘

  • 注意存放模型的目录结构：/models/Publisher/Repository/

  • 自定义路径选择到 /models 层即可【我当时这里折腾了好久才加载出来模型】

注意存放模型的目录结构

📍 模型下载

安装之后打开, 搜索对应大模型, 下载, 举例: baichuan

点击左侧菜单栏文件夹图标进行管理

下载模型失败问题

如果出现下载模型失败问题，可以复制模型地址，然后用浏览器打开下载。关于网络问题：https://user.by.ltd/aff.php?aff=23165​​

📍 聊天

点击左侧菜单栏聊天图标, 新建聊天, 输入框输入内容

可能对回答的结果并不满意, 我们可以点击结果后面的编辑, 更正结果, 多次训练后, ai就回回复我们想要的答案

📍 API接口

点击菜单栏倒数第二个图标, 进入api页面; 随意设置一个端口号, 启动服务

打开浏览器查看服务是否启动

 AI 大模型全栈知识库👇

https://www.yuque.com/lhyyh/ai

我是一名资深 AI 全栈工程师，持续分享 AI 相关知识，感兴趣的小伙伴欢迎关注并一起学习、交流💪

 

在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）
gongdiwudu的专栏
02-05 1万+
这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。
深度学习-90-大型语言模型LLM之基于LM Studio本地化部署运行自己的大模型
qq_20466211的博客
01-21 1008
LM Studio是一款专为本地运行大型语言模型(LLM)而设计的桌面应用程序，其主要作用是简化用户在本地环境中部署和使用这些先进的人工智能模型的过程。
LM studio Server 您可以通过在本地主机上运行的 API 服务器使用在 LM Studio 中加载的 LLM
04-10
请求和响应遵循 OpenAI 的 API 格式。 将当前使用 OpenAI 的任何代码指向 localhost:PORT 以使用本地 LLM 支持的端点 GET /v1/models POST /v1/chat/completions POST /v1/embeddings POST /v1/completions 使用本地服务器 1.如果尚未安装 LM Studio，请安装。 从 https://lmstudio.ai 获取应用程序安装程序。 2. 在应用程序内，搜索并下载 LLM，例如 TheBloke/Mistral-7B-Instruct-v0.2-GGUF（磁盘上大约 4GB） 3.前往“本地服务器”选项卡（左侧的 <->） 4.从下拉列表中选择加载您下载的任何 LLM。 5.单击绿色的启动服务器按钮启动服务器。 您的 LM Studio 现在将准备好接受传入的 API 请求。 您可以安全地最小化应用程序； 服务器将继续运行。
使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统
wangjye99的博客
04-27 1万+
另外，也可以选择openai或AnythingLLM，如果选择AnythingLLM，如下图所示，列表了其支持的大语言模型，选择了对应的模型点击“save changes“时，在后台会下载对应的大模型到本地。针对测试人员，可以在构建的大型模型和知识库问答应用中进行快速测试，并跟踪各个环节的结果，如embedding的召回结果是否覆盖所有知识点，可通过接口调用日志进行快速查看。针对业务专家和产品设计人员，即使不懂代码，也能快速构建产品原型，了解基于大型模型知识体系的构建过程，并能选型大语言模型。
LM Studio下载安装教程(AI工具)
m0_65494437的博客
02-08 9801
可用于Deepseek本地部署
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Y525698136的博客
08-07 1406
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
【部署本地大模型】用LM Studio工具部署本地AI大模型，真的太省事了！（普通人也能用）
2401_85325397的博客
12-28 3676
今天我想给大家推荐一个比 Ollama 更加清爽的工具：LM Studio（如果你还不熟悉 Ollama，它其实是一个用于安装和管理大模型的工具）， LM Studio 不仅对普通用户友好，技术人员也友好，方便地安装大模型。它提供了开发模式，让技术人员能深入了解相关参数。在用户界面方面，LM Studio 相比 Ollama 也更为出色。
用LM Studio工具部署本地AI大模型，真的太省事了！（普通人也能用）
pythonhy的博客
11-26 8653
今天我想给大家推荐一个比 Ollama 更加清爽的工具：LM Studio（如果你还不熟悉 Ollama，它其实是一个用于安装和管理大模型的工具）， LM Studio 不仅对普通用户友好，技术人员也友好，方便地安装大模型。它提供了开发模式，让技术人员能深入了解相关参数。在用户界面方面，LM Studio 相比 Ollama 也更为出色。
LM Studio 部署本地大语言模型
小橙子的博客
02-07 2021
注意：两层文件夹，名称无所谓，最好是 仓库名/文件名/文件。如果下载速度慢，暂停后，再恢复下载。选择使用代理，否则无法下载。注意打开局域网访问模式。2.更改模型下载目录。
在本地运行大模型：ollama与LM Studio部署及运行大模型的详细步骤和技术说明
03-04
在本地运行大模型是一项技术挑战，但通过使用ollama和LM Studio这两个工具，用户可以相对简单地部署和运行大型机器学习模型。本文将详细介绍使用ollama和LM Studio在本地运行大模型的步骤及技术要点。 首先，ollama...
LM Studio：一个桌面应用程序，旨在本地计算机上运行大型语言模型（LLM），它允许用户发现、下载并运行本地LLMs
汽车软件开发
04-19 4314
LM Studio是一个桌面应用程序，旨在本地计算机上运行大型语言模型（LLM）。它允许用户发现、下载并运行本地LLMs，支持在Windows、Linux和Mac等PC端部署2510。LM Studio的安装过程涉及访问其官网并选择相应操作系统的版本进行下载安装。安装成功后，用户可以通过该软件选择并运行心仪的模型，这些模型一般在huggingface上找到，重要因素包括模型的大小或参数量910。
DeepSeek多平台本地部署指南：Ollama、LM Studio及Hugging Face部署流程解析及应用
02-02
内容概要：本文详细阐述了DeepSeek这款先进AI语言模型在不同操作系统（Windows、Linux、Mac）上的三种主流部署方式——基于Ollama、LM Studio以及Hugging Face的方法。具体来说，对于每种部署方式，都介绍了安装必要...
最简单的本地大模型应用，普通用户也可以轻松安装使用（LM studio）
qyhua的专栏
07-15 1848
LM Studio是一个功能丰富的平台，旨在帮助用户轻松地与最新的语言模型（LLM）进行交互和实验，无需互联网连接即可在个人设备上运行。这些功能使得LM Studio成为研究者、开发者和对自然语言处理技术感兴趣的个人的理想工具，特别是在需要高性能和隐私保护的应用场景中。得益于llama.cpp项目的基础工作，LM Studio能够实现高效且资源友好的模型运行环境。
LM Studio本地部署大模型
最新发布
梧桐树的博客
04-06 1020
LM Studio 是一款专为本地运行大型语言模型（LLMs）设计的桌面应用程序，支持 Windows 和 macOS 系统。它允许用户在个人电脑上无需联网即可高效部署和交互开源大模型（如 LLaMA、Mistral、GPT-NeoX 等），兼顾隐私性与灵活性。
用LM Studio：2分钟在本地免费部署大语言模型，替代ChatGPT
weixin_39108752的博客
01-10 1万+
你想在本地使用类似ChatGPT 的大语言模型么？LM Studio 可以帮你2分钟实现ChatGPT的功能，而且可以切换很多不同类型的大语言模型，同时支持在Windows和MAC上的PC端部署。LM Studio是一款面向开发者的友好工具，特别适合那些想要探索和使用大型语言模型的人。无论是出于专业开发的需要，还是仅仅为了体验和玩转各种API，LM Studio都提供了一个简便、高效的解决方案。使用LM Studio不需要深厚的技术背景或复杂的安装过程。
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
2301_81888214的博客
02-13 733
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
LM Studio 介绍
t951984189的博客
05-10 2492
LM Studio是一个可以运行多种模型的工具，如：llama、qwen、mistral 等，除了聊天模型，还支持向量化模型，可以将文本转换为向量，具体可以到官网查看：https://lmstudio.ai/
LM Studio 本地部署DeepSeek及其他AI模型的详细操作教程及硬件要求
热门推荐
任聪聪的博客
01-29 4万+
LM Studio是一款能够本地离线运行各类型大语言模型的客户端应用，通过LM Studio 可以快速搜索所需的llms类型的开源大语言模型，并进行运行。特点：本地、独立、离线官网：https://lmstudio.ai/
LM Studio：引领本地LLM应用革命，打造安全高效的AI新体验
寻道AI，探索AI无限可能！
12-01 4306
在当今人工智能的蓬勃发展中，大型语言模型（LLMs）以其卓越的能力和广泛的应用，已经在商业和日常生活中扮演了不可或缺的角色。它们在自然语言处理、内容创作、智能助手等多个领域展现出巨大的潜力和价值。然而，这些模型的传统应用往往依赖于云端服务，这不仅带来了数据隐私泄露的风险，还受限于网络连接的稳定性和速度，影响了用户体验。正是在这样的背景下，LM Studio应运而生，它为在本地设备上运行大型语言模型提供了一个创新且高效的解决方案。
如何将deepseek部署到本地且有可视化界面，还得免费
04-02
<think>好的，我现在要帮用户解决如何将DeepSeek部署到本地且有可视化界面，还要免费的问题。首先，我需要确认用户提到的“DeepSeek”具体指什么。因为DeepSeek可能是一个AI模型或者某个特定软件，但根据常见的部署需求，可能是指类似ChatGPT的开源模型，比如DeepSeek-R1或者DeepSeek-Math之类的模型。不过，用户可能误将某个模型称为DeepSeek，或者是指某个特定的开源项目。需要先明确这一点。 假设用户指的是类似LLM（大语言模型）的开源项目，比如DeepSeek-7B之类的模型，那么部署到本地需要几个步骤：获取模型、搭建环境、部署模型、创建API接口、构建可视化界面。同时，要确保所有工具都是免费的。 首先，用户需要确认模型的可用性。比如，DeepSeek的开源模型可能在Hugging Face或GitHub上提供下载。需要检查模型是否开放权重，以及使用许可是否允许本地部署。 然后，环境搭建可能需要Python、PyTorch或TensorFlow等框架。用户需要安装这些依赖，并确保硬件符合要求，比如有足够的GPU内存，否则可能需要量化模型或使用CPU推理，但速度会慢。 接下来，部署模型可能需要使用像FastAPI或Flask来创建API服务。这样，模型可以通过HTTP请求进行交互。 可视化界面部分，可以考虑使用Gradio或Streamlit这两个免费的Python库，它们能快速构建Web界面，并且与模型API对接。这两个库都是开源的，适合本地部署。 不过，可能存在一些问题。例如，用户是否有足够的硬件资源？如果模型很大，比如7B参数，可能需要至少16GB的RAM和足够的显存。如果用户只有CPU，推理速度会很慢，但可能仍然可行。 另外，模型的下载和加载可能需要一定的技术知识，比如使用transformers库加载模型，处理可能的依赖冲突。需要指导用户正确安装库的版本。 还要考虑是否有现成的示例代码或教程。例如，Hugging Face的模型页面通常有使用示例，用户可以参考这些代码进行部署。同时，Gradio和Streamlit都有官方文档和社区支持，方便用户构建界面。 可能的步骤总结如下： 1. 获取模型：从Hugging Face或官方渠道下载模型文件。 2. 安装依赖：Python环境、PyTorch、transformers库等。 3. 编写推理代码：使用模型进行预测的脚本。 4. 创建API：用FastAPI或Flask包装模型推理函数。 5. 构建前端：使用Gradio或Streamlit创建交互式界面，并连接到API。 6. 运行服务：启动API和前端服务，通过浏览器访问。 需要提醒用户注意模型许可，确保遵守开源协议。同时，免费的工具可能存在性能限制，尤其是大型模型在本地运行可能较慢。如果用户遇到问题，可能需要调试环境配置或代码错误。 另外，是否有其他替代方案？比如使用Ollama或LM Studio这类工具，它们简化了本地部署，并提供GUI。但需要确认是否支持所需的DeepSeek模型。 最后，确保步骤清晰，分步说明，并给出具体的代码示例和命令，帮助用户一步步完成部署。</think>以下是分步指南，帮助你在本地免费部署DeepSeek（假设为开源LLM）并添加可视化界面： --- ### **步骤1：确认模型来源** 1. 访问Hugging Face官网（huggingface.co） 2. 搜索确认是否存在官方开源的DeepSeek模型（如`deepseek-ai/deepseek-llm-7b-chat`） 3. 检查模型文件是否包含： - `pytorch_model.bin` (模型权重) - `config.json` (配置文件) - `tokenizer.json` (分词器) --- ### **步骤2：准备Python环境** ```bash # 创建虚拟环境 conda create -n deepseek_env python=3.10 conda activate deepseek_env # 安装核心依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 根据CUDA版本选择 pip install transformers accelerate gradio ``` --- ### **步骤3：编写模型加载代码** 创建`deepseek_app.py`： ```python from transformers import AutoTokenizer, AutoModelForCausalLM import gradio as gr # 加载模型（修改为你的实际路径） model_path = "./deepseek-7b-chat" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto") def generate_response(input_text): inputs = tokenizer(input_text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=100) return tokenizer.decode(outputs[0], skip_special_tokens=True) # 创建Gradio界面 interface = gr.Interface( fn=generate_response, inputs=gr.Textbox(lines=2, placeholder="输入你的问题..."), outputs="text", title="DeepSeek 本地版" ) interface.launch(server_port=7860, share=False) # 通过localhost:7860访问 ``` --- ### **步骤4：优化部署方案** 1. **硬件不足时的解决方案**： ```python # 使用4-bit量化（需安装bitsandbytes） model = AutoModelForCausalLM.from_pretrained( model_path, load_in_4bit=True, device_map="auto" ) ``` 2. **API服务化**（可选）： 使用FastAPI创建API： ```python from fastapi import FastAPI from pydantic import BaseModel app = FastAPI() class Query(BaseModel): prompt: str @app.post("/chat") async def chat(query: Query): return {"response": generate_response(query.prompt)} ``` --- ### **步骤5：启动服务** ```bash # 直接运行Gradio应用 python deepseek_app.py # 如果使用FastAPI uvicorn api:app --host 0.0.0.0 --port 8000 ``` --- ### **常见问题解决** 1. **显存不足**： - 尝试更小的模型版本（如1.3B/7B） - 使用CPU模式（添加`device_map="cpu"`） 2. **依赖冲突**： ```bash pip freeze > requirements.txt # 导出依赖列表排查冲突 ``` 3. **中文支持**： 在prompt中明确指定语言： ```python def generate_response(input_text): formatted_input = f"用中文回答：{input_text}" # ...后续代码不变... ``` --- ### **替代方案推荐** 1. **使用Ollama**（需确认模型支持）： ```bash ollama run deepseek # 如果存在官方镜像 ``` 2. **LM Studio工具**： - 下载地址：lmstudio.ai - 支持直接加载GGUF格式的模型 --- **注意事项**： 1. 确认模型许可协议允许本地部署 2. 7B模型需要至少10GB磁盘空间 3. 首次运行会自动下载依赖（需稳定网络） 通过上述步骤，你可以在本地拥有一个类似ChatGPT的可视化对话界面，整个过程无需支付任何云服务费用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AGI舰长

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值