1. 为什么要本地部署?
原因一:快!最主要的原因就是快!!由于现在很多人使用,所以在运行的时候会很慢,为了提升效率,自己部署一台或者多台本地AI;
原因二:所有运营AI都会由于过滤敏感信息,所以会存在信息丢失。
2. 如何选择工具
如果你想在本地运行多个 AI,可以考虑以下几种方案,具体取决于你的需求:
LM Studio(适合本地运行大语言模型)
- 特点:支持多个本地 LLM(如 LLaMA、Mistral、DeepSeek 等),界面友好,支持 Windows、macOS 和 Linux。
- 适用场景:本地运行大语言模型,离线聊天。
- 官网:https://lmstudio.ai
ollama(轻量级 LLM 运行工具)
- 特点:命令行工具,简洁易用,支持拉取多个模型,适用于 Mistral、LLaMA、Gemma 等。
- 适用场景:快速部署和切换多个 LLM。
- 官网:https://ollama.com
Text Generation WebUI(多模型管理)
- 特点:基于 Web 界面,支持多种 AI(LLM、Diffusion 模型等),可并行管理多个 AI。
- 适用场景:需要同时运行多个 AI,支持 API 访问。
- GitHub:https://github.com/oobabooga/text-generation-webui
ComfyUI(Stable Diffusion AI 生成图像)
- 特点:节点式操作,支持多个 AI 模型(如 SDXL、DeepFloyd IF)。
- 适用场景