【AWS获取S3中所有相关文件路径】

Sslhow

已于 2022-05-01 21:53:31 修改

阅读量2.1k

点赞数

文章标签： wpf linq c#

于 2022-05-01 21:33:05 首次发布

本文链接：https://blog.csdn.net/Sslhow/article/details/124533072

版权

在AWS Sagemaker中，由于S3没有文件夹概念，需用不同方式获取文件路径。本文介绍了如何使用boto3 Python库从S3桶中获取带有特定前缀的对象路径。首先通过boto3创建S3资源，然后过滤并列出匹配前缀的文件路径，最后移除根目录路径。

摘要由CSDN通过智能技术生成

在做数据预处理的时候, 先是在local实现, 使用了os去获取单个文件夹下所有文件的路径然后去处理.

def get_file_list(mainfile):
path_list = []
for doc in os.listdir(mainfile):
newpath = os.path.join(mainfile, doc)
if os.path.isfile(newpath):
path_list.append(newpath)
return path_list
1
2
3
4
5
6
7
然而在将代码转移到AWS Sagemaker时当然就不能使用os去获取路径了. 要理解的是S3是没有folder的概念的, 虽然我们在S3的console里面可以看到类似folder的结构, 但实际上我们只是在不同object的名称中加了prefix而已. (其实我觉得是一个东西…但亚麻强调没有…那就没有吧)下面是获取一个buket中相关key的所有文件路径的方法

import boto3

def get_file_list(bucket_name, prefix):
s3 = boto3.resource('s3')
bucket=bucket_name
my_bucket = s3.Bucket(bucket)
location_list = []
for (bucket_name, key) in map(lambda x: (x