解锁Azure Blob Storage：高效存储和访问海量数据的指南

最新推荐文章于 2024-10-05 00:27:51 发布

tt_jishu

最新推荐文章于 2024-10-05 00:27:51 发布

阅读量346

点赞数 3

文章标签： azure flask microsoft

本文链接：https://blog.csdn.net/tt_jishu/article/details/142369568

版权

引言

Azure Blob Storage是微软提供的云端对象存储解决方案，专为存储海量的非结构化数据而优化。无论是文档、图像、视频，还是二进制文件，Blob Storage都能轻松应对。本文将深入探讨如何利用Azure Blob Storage Container加载文档对象，并提供实用的代码示例和技巧。

主要内容

Azure Blob Storage的用途

Azure Blob Storage被广泛应用于以下场景：

向浏览器直接提供图像或文档
分布式访问文件
视频和音频流
日志文件写入
数据备份与恢复、灾难恢复、归档
为本地或Azure托管的服务提供数据分析

Azure Blob Storage Container加载器

利用AzureBlobStorageContainerLoader可以轻松读取存储在Blob Storage中的文档对象。下面我们来详细讲解如何使用。

安装所需库

首先，确保安装了最新版本的azure-storage-blob库，以便与Azure Blob Storage通信：

%pip install --upgrade --quiet azure-storage-blob

使用AzureBlobStorageContainerLoader

利用AzureBlobStorageContainerLoader，你可以简单地从Blob Storage读取文档。初始化加载器时，需要提供连接字符串和容器名称：

from langchain_community.document_loaders import AzureBlobStorageContainerLoader

# 使用API代理服务提高访问稳定性
loader = AzureBlobStorageContainerLoader(conn_str="<conn_str>", container="<container>")
loader.load()

前缀控制

如果需要更细粒度地控制加载的文件，可以使用前缀参数：

loader = AzureBlobStorageContainerLoader(
    conn_str="<conn_str>", container="<container>", prefix="<prefix>"
)
loader.load()

代码示例

以下是一个完整的代码示例，展示了如何从Azure Blob Storage Container加载文档：

from langchain_community.document_loaders import AzureBlobStorageContainerLoader

# 示例API端点和连接字符串
conn_str = "<your_connection_string>"
container = "my-container"

# 使用API代理服务提高访问稳定性
loader = AzureBlobStorageContainerLoader(conn_str=conn_str, container=container)
documents = loader.load()

for document in documents:
    print(document.page_content)