boto3：Python连接S3对象存储并进行文件操作（上传、下载、删除）

目录

一、前言

二、boto3

三、代码

1、连接

2、列出桶中文件

3、删除文件

4、上传下载

---

一、前言

      在日常进行数据高可用时，会将数据存入对象存储中。在一般的企业中，对象存储资源池只有管理员拥有Web界面管理，普通账号需要对数据进行管理时，有如下方法：

      一、通用对象存储管理客户端，如对于S3对象存储有S3browser可以进行使用，其优点是操作简单，界面可视化；缺点是每次需要手动操作。

      二、利用对象存储指定的API或者SDK工具进行开发，其优点是适合无法使用可视化界面的IT环境和可自动完成，缺点是需要自己编辑。

二、boto3

       boto3是针对S3云存储的Python SDK工具，是boto2的迭代版本，对于可使用S3对象存储接口协议的基本可使用boto3。

安装：pip install boto3

三、代码

1、连接

import boto3
from datetime import datetime, timedelta
# 定义 endpoint、access key 和 secret key
endpoint_url = 'http://*************'
access_key = '****'
secret_key = '****'

# 创建 S3 客户端实例并指定 endpoint 和凭证信息
s3 = boto3.client('s3',
                  endpoint_url=endpoint_url,
                  aws_access_key_id=access_key,
                  aws_secret_access_key=secret_key,
                  verify=False)  # 如果不需要SSL验证，可以设置verify=False，即http或者https

# 列出所有的桶
responses = s3.list_buckets()
buckets = [bucket['Name'] for bucket in responses['Buckets']]
print('All of Buckets:', buckets)

2、列出桶中文件

#前面连接桶的代码段此处已省略
response = s3.list_objects_v2(Bucket='****') #选择你需要列出的桶名，
# 输出列出的所有对象
if 'Contents' in response:
    for obj in response['Contents']:
        key = obj['Key']
        timestep = obj['LastModified'] #文件对应的最后更改时间
        print(key, timestep)           #输出桶中文件名及最后更改时间

3、删除文件

删除文件：

s3.delete_object(Bucket='****', Key='****')

Bucket即为桶名，Key为桶中要删除的文件名（包含完整路径）

#以删除桶中30天以前的文件来直观了解一下
#省略前面连接代码
response = s3.list_objects_v2(Bucket='****')
days_hup = 30
del_date = datetime.now() - timedelta(days=days_hup)
#print(del_date)
# 删除30天以前的文件
if 'Contents' in response:
    for obj in response['Contents']:
        key = obj['Key']
        timestep = obj['LastModified']
        timestep = timestep.replace(tzinfo=None) #注意进行时间offset-aware和offset-naive的转换
        if timestep < del_date:
            s3.delete_object(Bucket='****', Key=key)
            print(f'删除文件 {key} 成功')

4、上传下载

s3.upload_file（本地路径及文件，桶名，对象存储路径及文件）

s3.download_file（桶名，对象存储路径及文件，本地路径及文件）

#省略前面连接代码 
bucket_name = '****'             #your bucket name
# 上传文件
local_file_path = '/data/testfile'  # 本地文件路径
s3_file_key = '/TEST/uptestfile'  # S3中的文件名，可以包括文件夹
s3.upload_file(local_file_path, bucket_name, s3_file_key)
print('文件上传成功')

# 下载文件
download_path = '/data/downtestflie'  # 下载到本地的路径，包含文件名
s3_file_key = '/TEST/uptestfile'  
s3.download_file(bucket_name, s3_file_key, download_path)
print('文件下载成功')