OpenLLM 使用教程

OpenLLM 使用教程

项目地址:https://gitcode.com/gh_mirrors/op/OpenLLM

项目介绍

OpenLLM 是一个开源项目，旨在让开发者能够轻松地运行任何开源的大型语言模型（LLMs），如 Llama 3、Qwen2、Phi3 等，或者自定义模型，并将其作为与 OpenAI 兼容的 API 进行访问。OpenLLM 提供了一个内置的聊天 UI、先进的推理后端，以及一个简化的工作流程，用于创建企业级的云部署，支持 Docker、Kubernetes 和 BentoCloud。

项目快速启动

安装 OpenLLM

首先，你需要安装 OpenLLM。你可以通过以下命令来安装：

pip install openllm

运行 OpenLLM

安装完成后，你可以通过以下命令来运行 OpenLLM：

openllm hello

启动聊天 UI

OpenLLM 提供了一个聊天 UI，你可以通过访问 http://localhost:3000/chat 来使用它。

在 CLI 中聊天

你也可以在命令行中启动一个聊天会话，使用以下命令：

openllm run llama3:8b

应用案例和最佳实践

企业级云部署

OpenLLM 支持通过 Docker 和 Kubernetes 进行企业级云部署。你可以使用 BentoCloud 来简化部署过程。

自定义模型

你可以添加一个模型仓库来运行自定义模型。OpenLLM 提供了一个默认的模型仓库，包含最新的开源 LLMs，如 Llama 3、Mistral 和 Qwen2。

典型生态项目

BentoML

BentoML 是一个用于构建、部署和管理机器学习模型的开源框架。OpenLLM 与 BentoML 紧密集成，使得模型部署更加简单和高效。

vLLM

如果你在 GPU 上运行 OpenLLM，推荐使用 vLLM 运行时。你可以通过以下命令来安装：

pip install "openllm[vllm]"

通过这些步骤，你可以快速启动并使用 OpenLLM，进行企业级的云部署，并探索其丰富的生态项目。

OpenLLM Operating LLMs in production 项目地址: https://gitcode.com/gh_mirrors/op/OpenLLM