LM Studio本地部署大模型，CPU就能玩的本地模型-亲测成功

LM Studio本地部署大模型，CPU就能玩的本地模型-亲测成功

前面介绍Ollama的部署和使用，下面我们介绍下另一款比较好用的模型部署的客户端工具LM Studio。
官方地址：https://lmstudio.ai/

本地部署大模型，不需要GPU就能玩本地模型-亲测成功
Ollama前端页面调用大模型 知识问答 模型切换

LM Studio介绍

LM Studio 是一款功能强大、易于使用的桌面应用程序，用于在本地机器上实验和评估大型语言模型（LLMs）。

与Ollama的区别

Ollama

• 用户体验：以其简单和易于安装而闻名，特别适合技术用户。

• 可定制性：提供创建定制语言模型和运行各种预训练模型的灵活性。

• 开源：完全开源，有助于提高透明度和社区参与。

• 支持的操作系统：适用于 macOS、Linux 和 Windows。

LM Studio

• 功能集：提供更广泛的功能集，包括发现、下载和运行本地 LLM，以及应用内聊天界面以及与 OpenAI 兼容的本地服务器接口。

• 友好性：与 Ollama 相比，被认为对用户界面更加友好。

• 模型选择：提供来自 Hugging Face 等更广泛的模型选择。

• 支持的操作系统：适用于 M1/M2/M3 Mac 或具有支持 AVX2 处理器的 Windows PC，Linux。

LM Studio安装运行

官方下载对应的系统版本，我这里使用windows系统介绍，官方下载地址：https://lmstudio.ai/

我这里下载的版本是：LM-Studio-0.2.31-Setup.exe 直接双击运行安装，这里不做详情说明。

安装完后运行如下图所示：

设置模型保存目录：注意，模型目录最好不要有中文特殊符号,最好是英文字母

LM Studio无法在线搜索和下载模型失败的问题处理

模型的搜素和下载，需要访问：https://huggingface.co/ 这个网站很多时候都是直接访问不了的。

更改下载配置

找到目录：C:\Users\admin(用户目录).cache\lm-studio

用户编辑器打开文件：downloads.json
用hf-mirror.com替换https://huggingface.co/

保存后重启LM Studio软件就可以了。

LM Studio离线导入部署模型

我们可以从站点下载模型文件，然后导入到LM Studio。

访问huggingface官网或镜像站点，下载模型文件
huggingface官网：https://hf-mirror.com/lmstudio-ai/gemma-2b-it-GGUF
镜像站点：https://hf-mirror.com/lmstudio-ai/gemma-2b-it-GGUF/tree/main

下载模型文件后按照目录层级放置到本地路径
导入模型：选择模型在本地目录的位置

运行模型

点击AI Chat，选择对应模型然后会自动加载到内存

然后下面的输入框，输入想要的内容就可以与本地大模型进行对话了。

以API服务的方式调用模型

Local Server：除了UI界面的chat对话使用之外，也可以在本地启动服务器，使用API接口进行调试。包括curl、python等方式。

点击Local Server，然后点击Start Server按钮，就会启动一个http服务，默认监听的端口：1234

参考连接：
https://blog.csdn.net/robinfoxnan/article/details/139336901
https://blog.csdn.net/2301_81888214/article/details/144499788
https://blog.csdn.net/easylife206/article/details/139105830
https://blog.csdn.net/codelearning/article/details/137745669