LM Studio 本地部署大模型Qwen

本人运行环境win11 、11th Gen Intel® Core™ i7-11800H @ 2.30GHZ、NVIDIA GeForce RTX 3060 Laptop GPU

LMStudio 运行环境要求

What are the minimum hardware / software requirements?

• Apple Silicon Mac (M1/M2/M3) with macOS 13.6 or newer
• Windows / Linux PC with a processor that supports AVX2 (typically newer PCs)
• 16GB+ of RAM is recommended. For PCs, 6GB+ of VRAM is recommended
• NVIDIA/AMD GPUs supported

1、下载。https://lmstudio.ai/下载相应版本LM Studio

2、安装。LM Studio默认会安装在c盘。安装时两个重要目录, 当然中间"gaobo",应该是你的用户名称。

C:\Users\gaobo\.cache\lm-studio\ 后面下载的模型会存在这儿。

C:\Users\gaobo\AppData\Local\LM-Studio 这个目录就是vscode打开的目录，进行源替换。

3、运行。搜索模型，由于墙的原因出错！

4、替换下载源。用vscode的替换，将C:\Users\gaobo\AppData\Local\LM-Studio目录下的文件中， huggingface.co替换为Huggingface的镜像网站hf-mirror.com

5、重启 LM Studio

6、再次搜索下载。

下载的模型保存在目录 C:\Users\gaobo\.cache\lm-studio\models 下，其结构应为 .\Publisher名称\大模型名称\模型文件。以我之前下载的 Qwen 为例，其目录结构如下所示：C:\Users\gaobo\.cache\lm-studio\models\Qwen\Qwen2-7B-Instruct-GGUF\qwen2-7b-instruct-q5_k_m.gguf。

7、选择本地模型。愉快玩耍！

通过在 LM Studio 中成功部署 Qwen，您现在可以充分利用这一强大的 AI 模型来满足各种应用需求。此外，LM Studio 还支持上传本地文档，使得 Qwen 能够在结合上传文档的基础上，提供更加精准和相关的回答。希望本文能为您的部署过程提供实用的指导，感谢您的阅读！