搭建本地大模型之LM Studio

最新推荐文章于 2025-04-06 18:06:19 发布
最新推荐文章于 2025-04-06 18:06:19 发布
阅读量2.7w 收藏 79
点赞数 29
文章标签： langchain LLM 人工智能 自然语言处理 chatgpt 程序员 编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81888214/article/details/144499788
版权

之前分享了 Ollama 这次分享一下 另一款本地运行大模型的工具LM Studio

什么是 LM Studio？

LM Studio 是一款用于在您的电脑上开发和实验LLMs的桌面应用程序。

关键功能

  • 桌面应用程序，用于运行本地 LLMs
  • 一个熟悉的聊天界面
  • 搜索和下载功能（通过 Hugging Face 🤗）
  • 一个可以监听类似 OpenAI 端点的本地服务器
  • 本地模型和配置管理系统

系统要求

LM Studio 通常支持 Apple Silicon Macs、x64/ARM64 Windows PC 和 x64 Linux PC。

macOS
  • 芯片：苹果硅（M1/M2/M3/M4）。
  • macOS 13.4 或更高版本是必需的。
    • 对于 MLX 模型，需要 macOS 14.0 或更高版本。
  • 16GB+内存推荐。
  • 您可能仍然可以在 8GB 的 Mac 上使用 LM Studio，但请坚持使用较小型号和适度的上下文大小。
  • 英特尔 Mac 目前不支持。
Windows

LM Studio 支持 x64 和 ARM（Snapdragon X Elite）架构的系统。

  • CPU：需要支持 AVX2 指令集（针对 x64）
  • RAM: LLMs可能会消耗大量 RAM。建议至少 16GB 的 RAM。
Linux
  • LM Studio for Linux 以 AppImage 的形式分发。
  • Ubuntu 20.04 或更高版本是必需的
  • 仅支持 x64，暂不支持 aarch64
  • Ubuntu 版本高于 22 的版本测试不佳。
  • CPU：中央处理器
  • LM Studio 默认支持 AVX2

如何安装 LM Studio？

LM Studio 适用于 macOS、Windows 和 Linux。

前往下载页面并下载适用于您的操作系统的安装程序。

设置中文

右下角设置

设置模型目录

模型目录最好不要有中文特殊符号,最好是英文字母

下载模型

如果可以访问国外网站

镜像网站下载

https://hf-mirror.com/

下载gguf模型放到前面设置的模型目录里面

模型挑选

模型文件大小小于自己显存大小,但接近显存大小的效果肯定越好

GGUF模型

GGUF，全称 GPT-Generated Unified Format，是一种新型的文件格式专门用于存储和交换大型机器学习模型的数据。这种格式针对模型的快速加载和保存进行了优化，使其在推理方面更加高效。GGUF可以有多重不同版本的量化，Q2、Q3、Q4、Q5、Q6、Q8，这些数字表示模型权重的位数，位数越高，模型的精度通常越高，但所需的存储空间和计算资源也越多。

不是所有 gguf 格式的模都能用 LM Studio 运行，你可以打开下面这个链接，这里所有模型都可以用LM Studio 运行:https://hf-mirror.com/lmstudio-community *量化是指将模型中的高精度数字转换为低精度数字，以减少模型的存储空间和计算需求。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

LLM.
关注
深度学习-90-大型语言模型LLM之基于LM Studio本地化部署运行自己的大模型
qq_20466211的博客
01-21 1005
LM Studio是一款专为本地运行大型语言模型(LLM)而设计的桌面应用程序，其主要作用是简化用户在本地环境中部署和使用这些先进的人工智能模型的过程。
使用LM Studio在ZBlog基于大模型原创文章上稿进行SEO优化
Mr数据杨
10-24 700
实现ZBlog的自动化文章生成与发布不仅能够提升工作效率，还能确保内容的多样性与高效管理。通过使用Python脚本，开发者可以方便地进行分类、标签的批量管理与更新，结合AI模型根据模板生成个性化的文章，并最终通过数据库插入实现文章的自动发布。整个流程简洁高效，能够满足现代内容创作中的各种需求，为开发者提供了强大的工具支持。通过这一系统，文章生成过程得到了极大的优化和自动化，显著提升了内容创作的效率。
DeepSeek大模型本地部署指南：基于Ollama和LM Studio的应用搭建
01-29
内容概要：本文档提供了两种不同的方式来部署深度学习语言模型 DeepSeek 至本地环境的方法介绍——一种通过Ollama工具，在不同操作系统上（Windows、Linux、macOS）的具体操作步骤进行了详细介绍；另一种为利用图形化的 LM Studio 完成建模的部署流程讲解，包含软件下载链接、环境准备以及相关指令的操作说明等内容。 适用人群：对大型语言模型有一定了解，并希望通过自定义方式将其应用于特定场景的技术从业者；对于想要研究或是实验DeepSeek这一开源大语言模型的研究员或者开发者来说是一份很好的参考资料。 使用场景及目标：适用于需要将最新的人工智能成果应用到实际项目开发过程中的团队或个人用户；帮助用户在本地机器上轻松设置并运行 DeepSeek 模型，从而满足本地推理、模型训练以及快速迭代等开发任务的需求；同时，也利于研究人员深入了解DeepSeek内部工作机制和技术细节。 其他说明：由于涉及到具体的系统命令执行及依赖库的安装，请严格按照文档指引进行操作，并注意系统资源管理，避免因磁盘空间不足导致的失败情况发生。
不同平台本地部署DeepSeek的人工智能部署指南
02-02
内容概要：本文详细介绍了在Windows、Linux以及macOS三种不同操作平台上利用两种主要方法（Ollama和LM Studio）来部署深度学习模型DeepSeek的具体步骤。针对每个系统，分别列出了必要的准备工作，像是下载和安装必需的程序组件或是执行特定命令，还提供了通过不同工具加载、运行DeepSeek的方式指导，包括模型下载来源的选择及其指令的用法等。无论是通过Ollama还是LM Studio部署，在所有平台上的流程都覆盖了详细的环境搭建及模型启动指南，并对可能出现的一些注意事项进行了简述，为初次尝试的用户提供全面的支持。 适用人群：适合需要将AI模型应用于本地环境中，尤其对于想要了解如何快速上手DeepSeek模型的实际应用的技术爱好者或开发者。 使用场景及目标：帮助有兴趣使用DeepSeek模型开展科研、项目或者个人实验的用户能够顺利地完成在自己设备上从零起步的部署任务；使用户掌握在各种操作系统环境中部署大型语言模型的基本方法，提高工作效率，降低入门门槛。 其他说明：文中提供的具体命令可能随时间和官方更新而有所变化，请参照官方最新发布资料。此外，对于硬盘容量等硬件条件也给出了明确的需求指引，保障了部署的成功率。
LM Studio和Ollama的区别
学亮编程手记
02-22 2327
以命令行操作为主，支持类似 Docker 的模型管理（如 ollama run 命令），适合熟悉终端的技术用户。LM Studio 和 Ollama 都是本地运行大型语言模型（LLM）的工具，但两者在功能定位、适用场景和技术特性上有显著差异。提供图形化界面（GUI），内置模型搜索、下载和聊天功能，操作更直观，对非技术人员友好，无需编写代码即可使用。开源工具，社区驱动，支持多平台（macOS、Linux、Windows 预览版）。闭源平台，功能更全面，包括模型训练、评估和部署工具。
大模型本地化部署：搭建本地大模型之LM Studio（附教程）
DEVELOPERAA的博客
03-15 2527
大模型本地化部署：搭建本地大模型之LM Studio（附教程）
LM Studio下载安装教程(AI工具)
m0_65494437的博客
02-08 9723
可用于Deepseek本地部署
《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝
09-02
《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程_self-llm
DeepSeek在windows本地部署
weixin_42049123的博客
02-07 3812
最近大火的deepseek,在使用网页API交流的时候经常失败，就研究如何部署在本地，发现deepseek真的是拉低了大模型使用的门槛，部署十分简单，大家可以试试。
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Y525698136的博客
08-07 1404
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
《开源大模型食用指南》发布，7个小时，一杯奶茶速通大模型！
Datawhale
01-08 1340
Datawhale开源开源贡献：Datawhale self-llm团队前 言《开源大模型食用指南》是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生...
【开源项目】MaxKB+Ollama：构建私有化知识库问答系统
m0_59235245的博客
06-12 4747
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base，旨在成为企业的最强大脑。：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好；：支持零编码快速嵌入到第三方业务系统；：支持对接主流的大模型，包括 Ollama 本地私有大模型（如 Llama 2、Llama 3、qwen）、通义千问、OpenAI、Azure OpenAI、Kimi、智谱 AI、讯飞星火和百度千帆大模型等。
开源项目QAnything：全能型本地知识库问答系统
人工智能讲师分享前沿技术
06-14 3746
在当今信息爆炸的时代，如何高效地管理和检索大量数据成为了一个重要课题。网易有道推出的开源项目QAnything，正是为了解决这一问题而生。QAnything是一个本地知识库问答系统，支持多种文件格式和数据库，允许用户在离线状态下进行安装和使用。用户只需将任何格式的本地存储文件放入系统，即可获得准确、快速且可靠的答案。
DeepSeek多平台本地部署指南：Ollama、LM Studio及Hugging Face部署流程解析及应用
02-02
内容概要：本文详细阐述了DeepSeek这款先进AI语言模型在不同操作系统（Windows、Linux、Mac）上的三种主流部署方式——基于Ollama、LM Studio以及Hugging Face的方法。具体来说，对于每种部署方式，都介绍了安装必要...
使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统
热门推荐
wangjye99的博客
04-27 1万+
另外，也可以选择openai或AnythingLLM，如果选择AnythingLLM，如下图所示，列表了其支持的大语言模型，选择了对应的模型点击“save changes“时，在后台会下载对应的大模型到本地。针对测试人员，可以在构建的大型模型和知识库问答应用中进行快速测试，并跟踪各个环节的结果，如embedding的召回结果是否覆盖所有知识点，可通过接口调用日志进行快速查看。针对业务专家和产品设计人员，即使不懂代码，也能快速构建产品原型，了解基于大型模型知识体系的构建过程，并能选型大语言模型。
LM Studio本地部署大模型
最新发布
梧桐树的博客
04-06 1004
LM Studio 是一款专为本地运行大型语言模型（LLMs）设计的桌面应用程序，支持 Windows 和 macOS 系统。它允许用户在个人电脑上无需联网即可高效部署和交互开源大模型（如 LLaMA、Mistral、GPT-NeoX 等），兼顾隐私性与灵活性。
本地运行大模型的工具：LM Studio一文全解析
2301_81888214的博客
03-25 1399
本地运行大模型的工具：LM Studio一文全解析
MaxKB 结合 DeepSeek 实现基于 LLM 大语言模型的知识库问答系统
ws_zzzz的博客
07-08 5097
性能卓越DeepSeek-V2模型参数量达到了惊人的236B，每个token激活21B参数，支持长达128K token的上下文长度，性能直逼GPT-4-Turbo。在中文综合能力评测中，DeepSeek-V2超越了所有开源模型，与GPT-4-Turbo等行业巨头处于同等水平。在英文综合评测中，与最强的开源模型LLaMA3-70B处于同一梯队，超过最强MoE开源模型Mixtral8x22B。在知识、数学、推理、编程等多个领域的专项基准测试中均表现出色。低成本高效能。
2023大模型安全解决方案白皮书
12-06 978
在当今迅速发展的数字化时代，人工智能技术正引领着科技创新的浪潮而其中的大模型技术则被视为人工智能的一大突破。大模型是指参数量巨大能力强大的人工神经网络模型，以其卓越的表现在自然语言处理、计算机视觉、语音识别等领域赢得了持续的关注和青睐。这些模型的出现，不仅在学术界引起了研究者们的广泛兴趣，也在商业应用领域带来了一系列创新和变革大模型技术的崛起，首要得益于深度学习的发展以及硬件计算能力的提升。深度学...
lm studio部署本地大模型 并http交互
02-14
### LM Studio 部署本地大模型 HTTP API 交互教程 #### 准备工作 为了成功部署大型语言模型并在本地通过HTTP接口与其互动，需先准备好环境。这包括安装必要的软件包和依赖项。确保计算机上已安装Python解释器以及pip工具。 #### 安装LM Studio 按照官方指南中的说明来获取最新版本的LM Studio应用程序[^1]。通常情况下，可以通过访问项目主页或GitHub仓库找到详细的安装指导文档链接。对于Windows用户来说，可能还会提供可执行文件(.exe)，而Linux/macOS则更倾向于使用命令行方式进行源码编译或者利用Docker镜像快速搭建开发测试平台。 #### 下载预训练模型 前往Hugging Face网站或其他可信资源站点寻找目标LLM（如Llama系列），并依据具体需求挑选合适的权重文件进行下载保存到指定目录下。例如，“https://huggingface.co/TheBloke/phi-2.Q4_K_S.gguf”即是一个可供选择的大规模参数配置实例之一[^2]。 #### 启动服务端口监听 启动LM Studio之后，在图形界面里加载刚才所提到的那个已经准备好的模型档案路径；接着设置好API服务器的相关选项——特别是要确认对外暴露的服务端口号不与其他进程冲突。完成上述操作后点击“Start Server”，此时应该可以看到控制台打印出有关于RESTful风格Web Service正在运行的消息提示。 #### Python客户端请求示例 下面给出了一段简单的Python脚本用于向刚刚建立起来的本地化OpenAI兼容版文字转语音转换引擎发送POST请求： ```python import requests from pprint import pprint url = 'http://localhost:8080/v1/chat/completions' headers = { "Content-Type": "application/json", } data = { "model": "phi-2.Q4_K_S", "messages":[{"role":"user","content":"你好"}], } response = requests.post(url, headers=headers, json=data) pprint(response.json()) ``` 此代码片段展示了如何构建一个基本的对话消息体并通过`requests`库将其提交给位于同一主机上的特定URL地址对应的处理函数。注意这里假设了默认采用的是第8080号TCP通道作为通信信道，并且指定了之前下载下来的那个名为`phi-2.Q4_K_S`的模型来进行推理计算任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值