掌握Azure Blob Storage Container：从云端存储加载文档

最新推荐文章于 2024-10-06 07:13:30 发布

sjufgwgfhoia

最新推荐文章于 2024-10-06 07:13:30 发布

阅读量452

点赞数 13

文章标签： azure flask microsoft python

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142677673

版权

引言

Azure Blob Storage是微软为云提供的对象存储解决方案，专门用于存储大量非结构化数据。这种存储解决方案适用于各种场景，包括直接向浏览器提供图像或文档、分布式文件访问、视频音频流、日志文件写入、备份与恢复、以及数据分析。本文将深入探讨如何从Azure Blob Storage容器加载文档对象，帮助开发者有效管理云端数据。

主要内容

Azure Blob Storage的用例

Azure Blob Storage提供多种用途，例如：

图像和文档传输：直接在浏览器中显示。
分布式访问：支持全球各地的数据访问。
多媒体流：支持视频和音频的高效流式传输。
日志存储：用于记录和分析应用日志。
数据备份和恢复：用于灾难恢复和归档。
数据分析：可通过本地或Azure托管的服务进行分析。

使用Azure Blob Storage Container加载文档

要从Azure Blob Storage容器中加载文档，我们可以使用AzureBlobStorageContainerLoader类。以下是如何实现的基本步骤：

安装必要的库：

%pip install --upgrade --quiet azure-storage-blob

使用AzureBlobStorageContainerLoader加载文档：

from langchain_community.document_loaders import AzureBlobStorageContainerLoader

# 使用API代理服务提高访问稳定性
loader = AzureBlobStorageContainerLoader(conn_str="<conn_str>", container="<container>")

documents = loader.load()
print(documents)

指定前缀加载特定文件

若需要更精细地控制加载哪些文件，可以使用prefix参数：

loader = AzureBlobStorageContainerLoader(
    conn_str="<conn_str>", container="<container>", prefix="<prefix>"
)

documents = loader.load()
print(documents)