python使用S3 API访问对象存储

已于 2023-05-30 09:23:03 修改
阅读量1k 收藏 2
点赞数
分类专栏： python ceph 文章标签： python 云计算
于 2023-04-25 16:33:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45437959/article/details/130368314
版权

python使用S3 API访问对象存储，demo代码如下：

使用boto连接s3

#!/usr/bin/python3
import os
import time
import boto
import boto.s3.connection
import argparse
import sys

# 需要修改对应用户的secret_access_key和access_key_id
access_key = "ZQAC7EA0G95ZBUAQXDQP"
secret_key = "pfgP1XiMXxJMoJ8pQv46VmndkBMTLwz2TDt0Ogl5"
HOST = "127.0.0.1"
PORT = 7480

useage = """usage: s3client.py [-h] [-c host] [-p port] [--bucket bucket_name]
                   [--create_bucket bucket_name] [--delete_bucket bucket_name]
                   [--list_buckets] [--create_object object]
                   [--delete_object object] [--list_objects]

optional arguments:
  -h, --help           
                show this help message and exit
  -c host, --client host
                The client to connect host. e.g. -c 172.30.28.181
  -p port, --port port      
                The port of server to be connected. e.g. -p 7480
  --bucket bucket_name       
                Specify a bucket. e.g. --bucket my-bucket
  --create_bucket bucket_name
                Creates a new S3 bucket. e.g. --create_bucket my-bucket
  --delete_bucket bucket_name    
                Deletes a new S3 bucket. e.g. --delete_bucket my-bucket
  --list_buckets           
                List all buckets. e.g. --list_buckets
  --create_object       
                Adds an object to a bucket. e.g. --bucket my-bucket --create_object --key file.txt --body /root/file.txt
  --key       
                Specified object key. e.g. --bucket my-bucket --create_object --key file.txt --body /root/file.txt
  --body       
                Specified object body. e.g. --bucket my-bucket --create_object --key file.txt --body /root/file.txt
                
  --get_object 
                Gets an object from a bucket. e.g. --bucket my-bucket --get_object --key file.txt --body /root/file.txt
  --copy_object 
                Copy a new S3 bucket. e.g. --copy_object my-bucket/testfile --key testfile --bucket your-bucket
                
  --delete_object 
                Removes an object from a bucket. e.g. --bucket my-bucket --delete_object --key file.txt
                
  --list_objects           
                List all objects in a bucket. e.g. --bucket my-bucket --list_objects"""
                    
parse = argparse.ArgumentParser(add_help=False)

parse.add_argument(
    "-h",
    "--help",
    action='store_true',
)

parse.add_argument(
    "-c",
    "--client",
    metavar="host",
)

parse.add_argument(
    "-p",
    "--port",
    metavar="port",
)

parse.add_argument(
    "--bucket",
    metavar="bucket_name",
)

parse.add_argument(
    "--create_bucket",
    metavar="bucket_name",
)

parse.add_argument(
    "--delete_bucket",
    metavar="bucket_name",
)

parse.add_argument(
    "--list_buckets",
    action='store_true',
)

parse.add_argument(
    "--create_object",
    action='store_true',
)

parse.add_argument(
    "--key",
    metavar="key",
)

parse.add_argument(
    "--body",
    metavar="file",
)

parse.add_argument(
    "--copy_object",
    metavar="object",
)

parse.add_argument(
    "--get_object",
    action='store_true',
)

parse.add_argument(
    "--delete_object",
    action='store_true',
)

parse.add_argument(
    "--list_objects",
    action='store_true',
)

args = parse.parse_args()


class S3client:

    def __init__(self, host, port) -> None:
        self.conn = boto.connect_s3(
                aws_access_key_id = access_key,
                aws_secret_access_key = secret_key,
                host = host,
                port = port,
                debug=0,
                is_secure=False,               # uncomment if you are not using ssl
                calling_format = boto.s3.connection.OrdinaryCallingFormat(),
                )
        self.bucket = None
    
    def __del__(self):
        self.conn.close()
        
    def get_bucket(self, bucket_name):
        for i in self.conn.get_all_buckets():
            if i.name == bucket_name:
                self.bucket = i
                break 
    @property
    def create_bucket(self):
        self.conn.create_bucket(args.create_bucket)
        print("Bucket %s created" % args.create_bucket)
    
    @property
    def delete_bucket(self):
        self.conn.delete_bucket(args.delete_bucket)
        print("Bucket %s removed" % args.delete_bucket) 
        
    @property       
    def list_buckets(self):
        for i in self.conn.get_all_buckets():
            print(i.name)
      
    @property     
    def create_object(self):
        self.get_bucket(args.bucket)
        start_time = time.time()
        key = self.bucket.new_key(args.key)
        key.set_contents_from_filename(os.path.basename(args.body))
        print("upload: '%s' -> 's3://%s/%s' [1 of 1]" % (args.body, args.bucket, args.key))
        print("Time: %.2fs " % float(time.time()-start_time))
    
    @property 
    def get_object(self):
        self.get_bucket(args.bucket)
        key = self.bucket.get_key(args.key)
        key.get_contents_to_filename(args.body)
        print("download: 's3://%s/%s' to %s " % (args.bucket, args.key, args.body))
    
    @property 
    def copy_object(self):
        self.conn.get_bucket(args.bucket).copy_key(new_key_name=args.key, 
                            src_bucket_name=args.copy_object.split("/")[0],
                            src_key_name='/'.join(args.copy_object.split("/")[1:]))
        
        print("copy: 's3://%s' to 's3://%s/%s' " % (args.copy_object, args.bucket, args.key))
        
    @property     
    def list_objects(self):
        self.get_bucket(args.bucket)
        for key in self.bucket.list():
            print("%s\t%-10s\t%s" % (key.last_modified, key.size, key.name))
    
    @property 
    def delete_object(self):
        self.get_bucket(args.bucket)
        self.bucket.delete_key(args.key)
        print("delete: 's3://%s/%s'" % (args.bucket, args.key))


if __name__ == "__main__":
    if args.help:
        print(useage)
        sys.exit(0)
    host = HOST if not args.client else args.client
    port = PORT if not args.port else args.port
    s3 = S3client(host, port)
    try:
        for i in args._get_kwargs():
            if getattr(args, i[0]):
                hasattr(s3, i[0])
    except Exception as e:
        print("no valid command found; please check!")
        print(useage)

使用boto3连接s3

#!/usr/bin/python3
import json
import os
import time
import datetime
import argparse
import sys
import boto3

# 需要修改对应用户的secret_access_key和access_key_id
access_key = "0INSHOH6YXYN9ZW9P2VT"
secret_key = "ZZzQ2CvfmtI2Wn5UE11WvlQtBX92pIIpSfyhRalv"
# 根据实际环境修改以下参数
http_protocol = "https"         
ca = "/tmp/civetweb.pem"
HOST = "vip"              # IP或者域名，127.0.0.1/vip
PORT = 8090

useage = """usage: s3client.py [-h] [-c host] [-p port] [--bucket bucket_name]
                   [--create_bucket bucket_name] [--delete_bucket bucket_name]
                   [--list_buckets] [--put_object object] [--copy_object object]
                   [--delete_object object] [--list_objects] [--ca cert.pem]
                   [--http_protocol https]

optional arguments:
  -h, --help           
                show this help message and exit
  -c host, --client host
                The client to connect host. e.g. -c 172.30.28.181
  -p port, --port port      
                The port of server to be connected. e.g. -p 7480
  --http_protocol https
                Specify http protocol, usually used with --ca. e.g. --http_protocol https
  --ca  cert.pem      
                A filename of the CA cert bundle to uses. e.g. --ca /etc/ceph/ca/civetweb.pem
                
  --bucket bucket_name       
                Specify a bucket. e.g. --bucket my-bucket
  --create_bucket bucket_name
                Creates a new S3 bucket. e.g. --create_bucket my-bucket
  --delete_bucket bucket_name    
                Deletes a new S3 bucket. e.g. --delete_bucket my-bucket
  --list_buckets           
                List all buckets. e.g. --list_buckets
  --put_object       
                Adds an object to a bucket. e.g. --bucket my-bucket --put_object --key file.txt --body /root/file.txt
  --key       
                Specified object key. e.g. --bucket my-bucket --put_object --key file.txt --body /root/file.txt
  --body       
                Specified object body. e.g. --bucket my-bucket --put_object --key file.txt --body /root/file.txt
                
  --get_object 
                Gets an object from a bucket. e.g. --bucket my-bucket --get_object --key file.txt --body /root/file.txt
  --copy_object 
                Copy a new S3 bucket. e.g. --copy_object my-bucket/testfile --key testfile --bucket your-bucket
                
  --delete_object 
                Removes an object from a bucket. e.g. --bucket my-bucket --delete_object --key file.txt
                
  --list_objects           
                List all objects in a bucket. e.g. --bucket my-bucket --list_objects
                
Example:
1. 使用http协议获取bucket
  python3 s3client.py --list_buckets --http_protocol http
2. 使用https协议获取bucket    
  python3 s3client.py --list_buckets --http_protocol https --ca /etc/ceph/ca/civetweb.pem
3. 使用http协议获取objects
  python3 s3demo.py --list_objects --bucket python -c 172.30.25.99 -p 7480 --http_protocol http  
4. 使用https协议获取objects
  python3 s3demo.py --list_objects --bucket python -c vip -p 8090 --http_protocol https        
"""
                    
parse = argparse.ArgumentParser(add_help=False)

parse.add_argument(
    "-h",
    "--help",
    action='store_true',
)

parse.add_argument(
    "-c",
    "--client",
    metavar="host",
)

parse.add_argument(
    "-p",
    "--port",
    metavar="port",
)

parse.add_argument(
    "--http_protocol",
    metavar="https",
)

parse.add_argument(
    "--ca",
    metavar="cert.pem",
)

parse.add_argument(
    "--bucket",
    metavar="bucket_name",
)

parse.add_argument(
    "--create_bucket",
    metavar="bucket_name",
)

parse.add_argument(
    "--delete_bucket",
    metavar="bucket_name",
)

parse.add_argument(
    "--list_buckets",
    action='store_true',
)

parse.add_argument(
    "--put_object",
    action='store_true',
)

parse.add_argument(
    "--key",
    metavar="key",
)

parse.add_argument(
    "--body",
    metavar="file",
)

parse.add_argument(
    "--copy_object",
    metavar="object",
)

parse.add_argument(
    "--get_object",
    action='store_true',
)

parse.add_argument(
    "--delete_object",
    action='store_true',
)

parse.add_argument(
    "--list_objects",
    action='store_true',
)

args = parse.parse_args()


class S3client:

    def __init__(self, host, port) -> None:
        
        self.client = boto3.client(
                service_name='s3',
                aws_access_key_id = access_key,
                aws_secret_access_key = secret_key,
                endpoint_url=f'{http}://{host}:{port}',
                verify=ca
                )

    @property
    def create_bucket(self):
        response = self.client.create_bucket(Bucket=args.create_bucket)
        self.print_json(response)
    
    @property
    def delete_bucket(self):
        response = self.client.delete_bucket(Bucket=args.delete_bucket)
        self.print_json(response)
        
    @property       
    def list_buckets(self):
        response = self.client.list_buckets()
        self.print_json(response)
            
    @property     
    def put_object(self):
        try:
            start_time = time.time()
            body = os.path.abspath(args.body) if args.body else None
            response = self.client.put_object(Body=body, Bucket=args.bucket, Key=args.key)
            print("upload: '%s' -> 's3://%s/%s' [1 of 1]" % (args.body, args.bucket, args.key))
            print("Time: %.2fs " % float(time.time()-start_time))
            self.print_json(response)
        except Exception as e:
            print(e)
    
    @property 
    def get_object(self):
        try:
            self.client.download_file(Bucket=args.bucket,
                        Key=args.key,
                        Filename=args.body)
            print("download: 's3://%s/%s' to %s " % (args.bucket, args.key, args.body))
        except Exception as e:
            print(e)
    
    @property 
    def copy_object(self):
        response = self.client.copy_object(
                    Bucket=args.bucket,
                    CopySource=args.copy_object,
                    Key=args.key,
                )
        print("copy: 's3://%s' to 's3://%s/%s' " % (args.copy_object, args.bucket, args.key))
        self.print_json(response)
        
    @property     
    def list_objects(self):
        response = self.client.list_objects(
            Bucket=args.bucket,
            )
        self.print_json(response)

    @property 
    def delete_object(self):
        try:
            response = self.client.delete_object(
                    Bucket=args.bucket,
                    Key=args.key,
                    )
            print("delete: 's3://%s/%s'" % (args.bucket, args.key))
            self.print_json(response)
        except Exception as e:
            print(e)
            
    @staticmethod
    def print_json(data):
        print(json.dumps(data,cls=DateEncoder, sort_keys=True, indent=4, separators=(', ', ': '), ensure_ascii=False))

class DateEncoder(json.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, datetime.datetime):
            return obj.strftime("%Y-%m-%d %H:%M:%S")
        else:
            return json.JSONEncoder.default(self,obj)

if __name__ == "__main__":
    if args.help:
        print(useage)
        sys.exit(0)
    host = HOST if not args.client else args.client
    port = PORT if not args.port else args.port
    http = http_protocol if not args.http_protocol else args.http_protocol
    if http_protocol == "https":
        if args.ca:
            ca = args.ca
        else:
            ca = ca
    else:
        ca = False
    s3 = S3client(host, port)
    try:
        for i in args._get_kwargs():
            if getattr(args, i[0]):
                hasattr(s3, i[0])
    except Exception as e:
        print("no valid command found; please check!\nUsage: python3 s3demo.py -h")
我是你的甲乙丙丁
关注
专栏目录
s3 api接口的调用
weixin_30794851的博客
11-03 9147
最近公司使用s3做文件存储服务器，因此在程序中需要调用s3的api，目前程序中使用了python和java版本的s3的api，简单做下记录，方便以后使用。 一、s3 api使用python版 1.安装boto3的sdk pip install boto3==1.4.7 2.创建s3的api客户端 import boto3from botocore.client import Con...
python S3
jianghao_boke的博客
12-12 2188
python S3 S3官网 京东云S3 PythonS3 API 这里就不解释是S3了哈！小编给大家准备了4个API分别是：上传，下载，复制，bucket列表。 首先是S3的配置 官网自己注册了，不再说了，现在z ...
S3FS：在Python中无缝使用S3存储的文件系统接口
最新发布
gitblog_00373的博客
08-22 491
S3FS：在Python中无缝使用S3存储的文件系统接口 s3fsS3 FileSystem (fs.FS) implementation项目地址:https://gitcode.com/gh_mirrors/s3f/s3fs 项目介绍 S3FS 是一个基于 Python 的库，它实现了对 Amazon S3 存储服务的文件系统接口，允许开发者像操作本地文件系统一样处理 S3 上的文件。这使得...
boto3：Python连接S3对象存储并进行文件操作（上传、下载、删除）
qq_41896822的博客
02-27 4710
在日常进行数据高可用时，会将数据存入对象存储中。在一般的企业中，对象存储资源池只有管理员拥有Web界面管理，普通账号需要对数据进行管理时，有如下方法：，如对于S3对象存储有可以进行使用，其优点是操作简单，界面可视化；缺点是每次需要手动操作。，其优点是适合无法使用可视化界面的IT环境和可自动完成，缺点是需要自己编辑。
amazon s3 学习 python
weixin_33955681的博客
08-29 139
amazon s3 全称为 亚马逊简易存储服务（Amazon Simple Storage Service） 简单的说就是个网上存文件的服务器，可以把自己文件放上去，然后通过它开放的api来进行管理。官方网站是http://aws.amazon.com/cn/s3/ 在s3上面有一个bucket，我的理解就是模块化，因为那个东西很大，如果我要存在音乐文件和安装包，和在一起放的话会很乱，就用buc...
python读取s3文件数据
LLMUZI123456789的博客
03-20 956
它允许用户通过命令行界面上传、下载、管理存储在S3上的文件和桶（bucket）。在S3中，用户可以存储和检索任意数量的数据，包括文件、图片、视频等任何类型的二进制数据或文本数据，并通过互联网进行访问。安全性：支持多种加密方式，如服务器端加密（SSE-S3, SSE-KMS, 或者客户提供的密钥），以及访问控制列表（ACL）和IAM策略来管理权限。易用性：提供了简单的Web界面和丰富的API接口，便于管理和操作存储桶及其中的对象。大规模存储：能够存储PB级的数据，并能处理极高的请求率。进行多部分上传大文件。
python使用AWS S3接口，上传、下载文件
a_917的博客
12-15 4686
1、安装环境 pip install boto3 2、使用 import boto3 s3_endpoint = "http://*.*.*.*:*" s3_access_key = "*" s3_secret_key = "*" def init_s3(end_point, access_key, secret_key): return boto3.client( 's3', aws_access_key_id=access_key, aws_secret_access_key=sec
对象存储Hitachi Content Platform (HCP)基本概念,S3接口示例工程,规则,最佳实践,异常处理
02-27
#### 五、对象访问示例代码(Java) 1. **下载示例工程：** - 示例工程提供了一组用于演示如何使用Java进行对象存储操作的示例代码。 - 通过提供的链接下载示例工程，并使用提取码解压。 2. **导入示例工程：** -...
MinIO是与Amazon S3 API兼容的高性能对象存储服务器-Golang开发
05-26
Minio快速入门指南Minio是根据Apache License v2.0发布的对象存储服务器。 它与Amazon S3云存储服务兼容。 MinIO最适合存储照片，视频，日志等非结构化数据。MinIO快速入门指南MinIO是根据Apache License v2.0发布的...
Python-NoDB是基于Amazon的S3静态文件存储的一个非常简单的Pythonic对象存储
08-10
Python-NoDB是一个针对Amazon Simple Storage Service（S3）设计的轻量级、Python风格的对象存储库。S3是由亚马逊提供的云存储服务，允许用户存储和检索任意数量的数据，具有高可用性和持久性。Python-NoDB的目标是...
使用Python boto3操作S3对象存储实战指南
"这篇文档介绍了如何在Python中使用AWS的S3 SDK，即boto3，来进行对象存储操作。提供了安装、卸载SDK的方法，以及快速入门的示例，包括查看Bucket列表、上传和下载文件等基本操作。" 在Python中，boto3是一个强大的...
s3-python.pdf
09-01
亚马逊 aws s3 python接口文档 可供参考
使用 Minio Client 访问滴滴云 S3 对象存储
java060515的专栏
12-13 2760
如何申请滴滴云 S3 的 Bucket？ 先注册**滴滴云账号**，进入：https://app.didiyun.com/#/s3/add 申请 Bucket，如下图： 填写名称和设置访问权限，点立即创建即可。 如何申请 AK 和 SK？ 操作步骤： 点击“API”按钮。 选择“对象存储密钥”。 点击“创建 API 密钥”。 即可得到的 SecretID 和 SecretKey 值. 如何...
python连接S3
05-28 1474
目录官网官网连接code直接登陆 官网 https://boto3.amazonaws.com/v1/documentation/api/latest/guide/quickstart.html 官网连接code 其实就是把登陆信息放到文件里，这样非常安全 直接登陆 那么我想在python代码中直接用用户名密码登录，获取一个在session有效时间内都可用的连接怎么搞 #第三方依赖 pip install boto3==1.6.12 from boto3.session import Session se
Python实现链接AWS S3，并将数据上传到AWS S3
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
12-21 1732
本文是该专栏的第40篇，后面会持续分享python的各种干货知识。使用python在处理某些项目的时候，偶尔会遇到需要将“本地数据源”或“数据库数据”上传到AWS S3的需求。AWS S3（Simple Storage Service）是一个公开的服务，Web应用程序开发人员一般可以使用它存储海量数字资产。通常情况下，我们获取到数据源之后，一般都会想着将数据存入数据容器。对于数据量偏小的情况，mysql几乎都能满足存储需求，而当数据量达到上亿级的时候，mysql基本上就比较吃力了，这时如果考虑将数据存...
python S3协议
weixin_40245965的博客
07-19 139
python相关学习资料：006_指法标准_键盘正位_你好世界_hello_world_单引号_双引号GitLabCI/CD-pending的原因一张图生成指定动作的动态视频,Magic Animate本地部署Python S3协议：一种高效的数据传输协议 在云计算和大数据时代，数据传输的效率和安全性变得越来越重要。...
boto3 - 使用Python访问AWS S3
SAGGITARXM
04-22 3897
import os import boto3 from loguru import logger BUCKET_NAME = "your-bucket-name" # 存储桶名称 # aws_access_key_id和aws_secret_access_key CN_S3_AKI = 'your_aws_access_key_id' CN_S3_SAK = 'your_aws_secret_access_key' CN_REGION_NAME = 'your-cn-region-name' .
python读取s3存储文件下载
不积跬步，无以至千里；不积小流，无以成江海。
06-15 2769
尝试重新运行你的代码或等待一段时间再尝试使用相同的 AWS 凭证登录，看看这些步骤是否能够解决问题。参数，将文件分块下载，并逐块写入本地文件，因为默认下载工具只会一次加载整个文件从而造成大量内存的占用，降低程序效率和稳定性。如果访问过程中出现错误，代码将会输出调试信息，从而帮助你进一步检查和解决问题。错误，这通常意味着某些网络问题，或者AWS端点问题，导致连接未能从AWS端点接收到有效的响应，再次请求可能解决问题。连接到S3并选择要读取的存储桶，然后定义要下载的文件路径和本地文件路径，并使用。
aws python sns_使用Python访问AWS S3
weixin_39766071的博客
12-03 443
最近在使用Python访问S3，进行文件的上传和下载。因为都是私有数据，所以不能直接通过Web进行下载。AWS提供了一个Python库boto3，来完成相关的操作。但是其文档写得相当差，没有详细的tutorial和examples。自己做了一些google搜索，结合boto3文档，对一些常用操作进行说明。boto3使用当前最新版本1.4.6。AWS配置访问S3需要aws_access_key_id...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值