Ollama+LM Studio+Anything LLM本地部署大模型

主要用于自我学习大模型本地部署的实战

首先安装Ollama，官网OllamaGet up and running with large language models.https://ollama.com/

安装LM Studio，官网 LM Studio - Discover, download, and run local LLMsRun Llama, Mistral, Phi-3 locally on your computer.https://lmstudio.ai/

安装Anything LLM，官网 AnythingLLM | The all-in-one AI application for everyoneAnythingLLM is the AI application you've been seeking. Use any LLM to chat with your documents, enhance your productivity, and run the latest state-of-the-art LLMs completely privately with no technical setup.https://anythingllm.com/

启动Ollama

cmd命令行输入 ollama serve

 

 LM Studio下载模型，感觉和Ollama的功能类似，Ollama也可以下载模型

 注意要勾选Hugging Face Proxy代理

 搜索你想要的模型

 

我下载了比较小的，本地可以跑起来的，LM会提示你的机器适不适合你选择的模型

 我用ollama下载的分词模型，下载命令：

ollama pull nomic-embed-text:latest

其实在LM中也可以使用，在这里主要是为了演示三个软件一起使用，玩耍一下，哈！

下面配置Anything LLM，把LM Studio和Ollama一起协作使用

LLM首选项选择LM Studio

这个是要访问LM Studio服务的，所以要打开LM Studio的API服务，端口默认就可以

 

再配置Ollama下载的分词模型，端口也是默认就可以

 

 

下面设置工作区

 

下面就可以和大模型对话了

 

可以看到Ollama的分词日志记录

 

还有LM Studio中的大模型对话服务日志

OK，体验一下大模型的本地部署！