Amazon SDK提供的S3读取接口listObjects()是分页读取

Amazon SDK提供的S3读取接口listObjects()是分页读取,默认每次返回1000个对象。

因此需要翻页遍历出所有的对象。

 private LinkedList<S3ObjectSummary> allObjectList = new LinkedList<S3ObjectSummary>();

public void download(){

     ListObjectsRequest listObjectsRequest = new                         

     ListObjectsRequest().withBucketName(bucketName).

         withPrefix(orderNumber+"_"); 

     ObjectListing objects =  MyAccout.amazonS3.listObjects(listObjectsRequest);

        getAllListKey(objects);
                       
        for(S3ObjectSummary objectSummary :allObjectList) {

                String objectKey=objectSummary.getKey();

               GetObjectRequest rangeObjectRequest =new GetObjectRequest(bucketName, objectKey);
               S3Object object = MyAccout.amazonS3.getObject(rangeObjectRequest);  

                object.getObjectContent();   

               .....

        }

}

    /**
     * 返回所有Key
     */
    private void getAllKey(ObjectListing current) {
        this.allObjectList.addAll(current.getObjectSummaries());//第一页
        while (current.isTruncated()) {
            current = MyAccout.amazonS3.listNextBatchOfObjects(current);//翻页
            this.allObjectList.addAll(current.getObjectSummaries());//最后一页
        }
    }

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Amazon S3 SDK中,`ListObjectsV2Request`类提供了`setContinuationToken()`方法来设置`mark`,用于从上次请求的位置继续获取对象列表。 你可以按照以下步骤使用`mark`: 1. 在第一次请求时,不需要设置`mark`,只需要设置存储桶名称和其他参数。 ```java ListObjectsV2Request request = new ListObjectsV2Request() .withBucketName("my-bucket") .withPrefix("folder/") .withMaxKeys(100); ``` 2. 发送第一次请求,并处理返回的对象列表。 ```java AmazonS3 s3Client = AmazonS3ClientBuilder.standard().build(); ListObjectsV2Result result = s3Client.listObjectsV2(request); for (S3ObjectSummary objectSummary : result.getObjectSummaries()) { // 处理对象的逻辑 System.out.println("Object key: " + objectSummary.getKey()); } ``` 3. 如果返回结果中的`isTruncated()`方法返回`true`,表示还有更多的对象未返回。此时,你可以通过调用`getNextContinuationToken()`方法获取`mark`。 ```java String nextContinuationToken = result.getNextContinuationToken(); ``` 4. 在下一次请求中,将获取到的`mark`设置到`ListObjectsV2Request`对象中,并发送请求。 ```java request.setContinuationToken(nextContinuationToken); result = s3Client.listObjectsV2(request); for (S3ObjectSummary objectSummary : result.getObjectSummaries()) { // 处理对象的逻辑 System.out.println("Object key: " + objectSummary.getKey()); } ``` 5. 如果仍然有更多的对象未返回,重复上述步骤,直到`isTruncated()`方法返回`false`。 `mark`(即`ContinuationToken`)是一种用于在分页查询中标记下一页的机制。通过将上一页的`ContinuationToken`设置为下一页的请求中,可以继续获取剩余的对象列表。 希望这可以帮助你使用`mark`来分页获取Amazon S3存储桶中的对象列表。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值