探索 Azure AI Studio 数据加载：无缝集成和最佳实践

最新推荐文章于 2024-11-01 13:39:49 发布

llzwxh888

最新推荐文章于 2024-11-01 13:39:49 发布

阅读量307

点赞数 3

文章标签： azure 人工智能 flask python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142677661

版权

探索 Azure AI Studio 数据加载：无缝集成和最佳实践

Azure AI Studio 为开发者提供了一种简便的方式，将数据资产上传到云存储并注册来自多种来源的现有数据资产。本文将详细介绍如何在 Azure AI Studio 中加载文档对象，同时讨论此方法的优势和潜在的挑战。

引言

在现代数据驱动的开发环境中，高效且安全地管理数据资产至关重要。Azure AI Studio 提供了从 Microsoft OneLake、Azure Blob Storage 和 Azure Data Lake gen 2 加载数据资产的能力，使得身份验证变得无缝。本文旨在介绍如何使用 Azure AI Studio 加载数据，并提供实用的代码示例和解决方案。

主要内容

1. 数据加载的优势

通过 Azure AI Studio 加载数据资产的主要优势之一是，它解决了身份验证的问题。借助 Azure 提供的服务，您可以选择基于身份的访问控制或凭据（例如 SAS 令牌、账户密钥）进行访问，而无需在代码中指定这些秘密或设置密钥库。

2. 如何加载文档对象

通过使用现有的 Azure AI DataLoader，开发者可以轻松加载并处理存储在 Azure 的文档。以下是一些关键步骤：

创建与项目的连接
获取数据资产的最新版本
加载数据资产

3. 使用 Glob 模式

为了更细粒度地控制要加载的文件，您可以使用 glob 模式。例如，仅加载特定扩展名的文件（如 PDF）。

代码示例

下面是如何使用 Azure AI DataLoader 加载数据的代码示例，其中包含从 Azure 下载数据资产的步骤。

%pip install --upgrade --quiet azureml-fsspec, azure-ai-generative

from azure.ai.resources.client import AIClient
from azure.identity import DefaultAzureCredential
from langchain_community.document_loaders import AzureAIDataLoader

# 创建与项目的连接
client = AIClient(
    credential=DefaultAzureCredential(),
    subscription_id="<subscription_id>",
    resource_group_name="<resource_group_name>",
    project_name="<project_name>",
)

# 获取数据资产的最新版本
data_asset = client.data.get(name="<data_asset_name>", label="latest")

# 加载数据资产
loader = AzureAIDataLoader(url=data_asset.path)  # 使用API代理服务提高访问稳定性
loader.load()

# 示例输出
[Document(page_content='Lorem ipsum dolor sit amet.', lookup_str='', metadata={'source': '/var/folders/y6/8_bzdg295ld6s1_97_12m4lr0000gn/T/tmpaa9xl6ch/fake.docx'}, lookup_index=0)]

# 使用 glob 模式
loader = AzureAIDataLoader(url=data_asset.path, glob="*.pdf")
loader.load()