阿里oss分片上传大文件

有一个需求,需要把一个20多G的视频放到内部网站供内部人员学习,我们的存储空间是阿里云,然后通过拖拽上传的时候会提示 最大只能上传5G的文件,如果需要上传的话,得走分片上传。

以下是分片上传的代码

import com.aliyun.oss.OSSClient;
import com.aliyun.oss.model.*;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;

/**
 * @author: lxy
 */
public class TestUpload {
    public static void main(String[] args) throws IOException {
        // Endpoint以杭州为例,其它Region请按实际情况填写。
        String endpoint = "http://oss-cn-shenzhen.aliyuncs.com";
        //这里填上你的阿里云的accessKeyId,accessKeySecret 在后台找了好一会儿才找到在哪里- -,找不到的建议提工单问一下客服
        String accessKeyId = "";
        String accessKeySecret = "";
        //这里是你的oss的桶名称
        String bucketName = "";
        // <yourObjectName>表示上传文件到OSS时需要指定包含文件后缀在内的完整路径,例如abc/efg/123.jpg。
        String objectName = "";

        // 创建OSSClient实例。
        OSSClient ossClient = new OSSClient(endpoint, accessKeyId, accessKeySecret);

        InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, objectName);

        // 初始化分片。
        InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);
        // 返回uploadId,它是分片上传事件的唯一标识,您可以根据这个uploadId发起相关的操作,如取消分片上传、查询分片上传等。
        String uploadId = upresult.getUploadId();

        // partETags是PartETag的集合。PartETag由分片的ETag和分片号组成。
        List<PartETag> partETags = new ArrayList<PartETag>();
        // 计算文件有多少个分片。
        // 1MB
        final long partSize = 100 * 1024 * 1024L;
        // 我这里读取的是本地的一个文件
        final File sampleFile = new File("");
        long fileLength = sampleFile.length();
        int partCount = (int) (fileLength / partSize);
        if (fileLength % partSize != 0) {
            partCount++;
        }
        // 遍历分片上传。
        for (int i = 0; i < partCount; i++) {
            long startPos = i * partSize;
            long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
            InputStream instream = new FileInputStream(sampleFile);
            // 跳过已经上传的分片。
            instream.skip(startPos);
            UploadPartRequest uploadPartRequest = new UploadPartRequest();
            uploadPartRequest.setBucketName(bucketName);
            uploadPartRequest.setKey(objectName);
            uploadPartRequest.setUploadId(uploadId);
            uploadPartRequest.setInputStream(instream);
            // 设置分片大小。除了最后一个分片没有大小限制,其他的分片最小为100 KB。
            uploadPartRequest.setPartSize(curPartSize);
            // 设置分片号。每一个上传的分片都有一个分片号,取值范围是1~10000,如果超出这个范围,OSS将返回InvalidArgument的错误码。
            uploadPartRequest.setPartNumber(i + 1);
            // 每个分片不需要按顺序上传,甚至可以在不同客户端上传,OSS会按照分片号排序组成完整的文件。
            UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest);
            // 每次上传分片之后,OSS的返回结果包含PartETag。PartETag将被保存在partETags中。
            partETags.add(uploadPartResult.getPartETag());
        }
        // 创建CompleteMultipartUploadRequest对象。
        // 在执行完成分片上传操作时,需要提供所有有效的partETags。OSS收到提交的partETags后,会逐一验证每个分片的有效性。当所有的数据分片验证通过后,OSS将把这些分片组合成一个完整的文件。
        CompleteMultipartUploadRequest completeMultipartUploadRequest =
                new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);

        // 如果需要在完成文件上传的同时设置文件访问权限,请参考以下示例代码。
        // completeMultipartUploadRequest.setObjectACL(CannedAccessControlList.PublicRead);
        CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);

        // 关闭OSSClient。
        ossClient.shutdown();
    }
}

pom中需要引入

aliyun-sdk-oss 
        <dependency>
            <groupId>com.aliyun.oss</groupId>
            <artifactId>aliyun-sdk-oss</artifactId>
            <version>3.1.0</version>
        </dependency>

参数部分填好了应该可以直接用了,文件比较大的情况下,建议是不报错就不用管他了(我传的20多G 传了7个小时。。。),上传过程中 阿里的后台会显示有n个碎片,到上传完毕之后会合成一个文件的。

  • 3
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
阿里云OSS分片文件上传是一种将大文件分成多个数据块(Part)进行上传的方法,以实现高效的文件上传和断点续传功能。这种分片上传的方法可以应用于需要传输大文件的场景,比如视频点播文件等。 分片上传的步骤包括初始化一个分片上传事件、上传分片和完成分片上传。首先,需要初始化一个分片上传事件,获取一个唯一的上传ID和用于标识上传文件名。然后,将文件分成多个数据块,逐个上传每个数据块,并记录每个数据块的编号和ETag。最后,通过调用完成分片上传的接口,将所有上传的数据块合并成一个完整的文件。 在分片上传过程中,可以通过监控上传进度,实时获取上传的数据块数目和总数据块数,从而了解上传的进度情况。可以使用两种方式来实现监控上传进度,一种是通过查询上传事件的接口来获取已经上传的数据块数目和总数据块数,另一种是通过每个数据块上传完成时的回调来更新上传进度。 在使用分片上传时,需要注意一些事项。首先,每个数据块的大小可以根据实际需求进行调整,但要遵循OSS的限制条件。其次,上传数据块时需要保证数据块的顺序和完整性,以确保数据块可以正确地组合成完整的文件。最后,完成分片上传后,需要注意保存上传ID和ETag,以便之后可以进行断点续传操作。 总结来说,阿里云OSS分片文件上传是一种将大文件分成多个数据块进行上传的方法,可以实现高效的文件上传和断点续传功能。通过分片上传,可以有效地应对大文件传输的需求,并且通过监控上传进度和注意事项,可以更好地控制和管理文件上传的过程。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [阿里云对象存储OSS-分片上传](https://blog.csdn.net/Morris_/article/details/102813989)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值