最简单的本地大模型应用，普通用户也可以轻松安装使用（LM studio）

一 LM studio介绍：

         LM Studio是一个功能丰富的平台，旨在帮助用户轻松地与最新的语言模型（LLM）进行交互和实验，无需互联网连接即可在个人设备上运行。以下是使用LM Studio的一些关键优势和功能：

1. 离线运行LLM:

   • 🤖 在您的笔记本电脑上运行语言模型，无需互联网连接，确保数据隐私和安全性。

2. 灵活的模型使用方式:

   • 👾 您可以通过内置的聊天界面与模型进行互动，或者通过本地设置的OpenAI兼容服务器来调用模型API，为集成到其他应用程序中提供便利。

3. 广泛的模型兼容性:

   • 📂 支持从Hugging Face模型库中下载各种兼容的模型文件，包括基于ggml的Llama、MPT和StarCoder系列，如Llama 2、Orca、Vicuna、Nous Hermes、WizardCoder、MPT等。

4. 社区驱动的发现机制:

   • 🔭 应用程序的主页会展示新发布的和值得关注的LLM，帮助用户了解最新的模型动态和趋势。

5. 系统兼容性:

   • 最低硬件要求为M1/M2/M3芯片的Mac计算机，或具备AVX2指令集支持的Windows PC。同时，对于Linux用户，提供了测试版本，以便更广泛的用户群体能够尝试和使用。

          这些功能使得LM Studio成为研究者、开发者和对自然语言处理技术感兴趣的个人的理想工具，特别是在需要高性能和隐私保护的应用场景中。得益于llama.cpp项目的基础工作，LM Studio能够实现高效且资源友好的模型运行环境。

二 LM studio官网下载

官网下载：LM Studio - Discover, download, and run local LLMsLM Studio is an easy to use desktop app for experimenting with local and open-source Large Language Models (LLMs). The LM Studio cross platform desktop app allows you to download and run any ggml-compatible model from Hugging Face, and provides a simple yet powerful model configuration and inferencing UI. The app leverages your GPU when possible.https://lmstudio.ai/进入官网如下图,根据操作系统选择对就的版本下载即可：

 

三 LM studio安装使用 

1 安装

  在window平台 与普通软件一样双击即可安装。

2 使用

  在window平台 与普通软件一样双击打开如下图。

需要先下载模型，如下图有很多模型可以选择：

如果在国内可能会出现无法下载，下载报错，如下图：

 

这时我们退出关闭应用，修改配置文件的（配置文件在：C:\Users\用户名xx\.cache\lm-studio\downloads.json）下载地址，把原网址修改成国内镜像：hf-mirror.com 如下图：

  注意：有3处要改。

重新找开LM-studio应用,点击继续下载 如下图：

恢复正常下载中，如下图： 

下载完成后在这里可以看到模型：

 有了模型就可以使用了，选择模型加载，再对话如下图：

加载模型成功就可以对话了，如下图：

 测试对话，如下图：

 

对话过程cpu与gpu占用如下图：

cpu占用70%左右

使用了4gpu显存 

 

使用默认的模型设置参数，整体使用感觉良好。 

在模型设置这块，如果你是开发者相关技术人员，还可以调整一些参数优化，如下图：

小结：

 LM Studio是一个功能丰富的平台，不仅适合普通用户，也适合开发相关技术人员本地使用。