阿里云oss分片上传,大文件上传

本文介绍了如何使用阿里云OSS服务进行大文件的分片上传,强调了在长时间上传过程中调整前端响应时间和网关、Nginx配置以避免超时的问题。详细步骤包括初始化分片上传、遍历上传各分片及最后的文件合并。同时,文中提醒了上传文件大小限制可能导致的上传失败风险。
摘要由CSDN通过智能技术生成

阿里云oss分片上传,一定要注意,当分片上传的时候,一般都是大文件,文件上传可能时间很长,一定要注意修改前端响应时间,如果配有网关,网关请求时间酌情修改,使用Nginx代理时,nginx.config 也要修改时间参数,例如 proxy_read_timeout 300;(秒,默认60s),同时后台也会限制文件上传大小导致上传失败,这个坑也需要注意。

    private String endpoint="你的Endpoint";
    private String accessKeyId="你的AccessKeyId";
    private String secretAccessKey="你的AccessKeySecret";
    private String BucketName="你的BucketName,注意是name不是 Bucket";
 
	public R fileUploadZone(MultipartFile file) {
            OSS ossClient=null;
        try {
            Date date = new Date();
            String beginTime = date.getHours() + ":" + date.getMinutes() + ":" + date.getSeconds();
            logger.info("fileUploadZone-开始上传时间:"+beginTime);
            //获取文件的原始名字
            String originalfileName = file.getOriginalFilename();
            //文件后缀
            String suffix = originalfileName.substring(originalfileName.lastIndexOf(".") + 1);
            //重新命名文件,文件夹要是改动,app记录删除的地方一并改动
            String pack = "file/";
            String fileName = "file_" + System.currentTimeMillis() + "." + suffix;
            String objectName = pack + fileName;
            if (!suffix.equals("xxx")) {
                //根据后缀判断是不是自己想要上传的格式
                return R.error("xxx类型错误!");
            } 
            String url = "http://" + BucketName + "." + endpoint + "/" + objectName;
            // 创建OSSClient实例。
            ossClient = new OSSClient(endpoint, accessKeyId, secretAccessKey);
            // 创建InitiateMultipartUploadRequest对象。
            InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(BucketName, objectName);
            // 如果需要在初始化分片时设置文件存储类型,请参考以下示例代码。
            // ObjectMetadata metadata = new ObjectMetadata();
            // metadata.setHeader(OSSHeaders.OSS_STORAGE_CLASS, StorageClass.Standard.toString());
            // request.setObjectMetadata(metadata);
            // 初始化分片。
            InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);
            // 返回uploadId,它是分片上传事件的唯一标识,可以根据这个uploadId发起相关的操作,如取消分片上传、查询分片上传等。
            String uploadId = upresult.getUploadId();
            // partETags是PartETag的集合。PartETag由分片的ETag和分片号组成。
            List<PartETag> partETags = new ArrayList<PartETag>();
            // 计算文件有多少个分片。
            // 2MB
            final long partSize = 2 * 1024 * 1024L;
            long fileLength = file.getSize();
            int partCount = (int) (fileLength / partSize);
            if (fileLength % partSize != 0) {
                partCount++;
            }
            // 遍历分片上传。
            for (int i = 0; i < partCount; i++) {
                long startPos = i * partSize;
                long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
                // 跳过已经上传的分片。
                InputStream instream = file.getInputStream();
                instream.skip(startPos);
                UploadPartRequest uploadPartRequest = new UploadPartRequest();
                uploadPartRequest.setBucketName(BucketName);
                uploadPartRequest.setKey(objectName);
                uploadPartRequest.setUploadId(uploadId);
                uploadPartRequest.setInputStream(instream);
                // 设置分片大小。除了最后一个分片没有大小限制,其他的分片最小为100 KB。
                uploadPartRequest.setPartSize(curPartSize);
                // 设置分片号。每一个上传的分片都有一个分片号,取值范围是1~10000,如果超出这个范围,OSS将返回InvalidArgument的错误码。
                uploadPartRequest.setPartNumber(i + 1);
                // 每个分片不需要按顺序上传,甚至可以在不同客户端上传,OSS会按照分片号排序组成完整的文件。
                UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest);
                // 每次上传分片之后,OSS的返回结果包含PartETag。PartETag将被保存在partETags中。
                partETags.add(uploadPartResult.getPartETag());
            }
            /**
             * 创建CompleteMultipartUploadRequest对象。
             * 在执行完成分片上传操作时,需要提供所有有效的partETags。OSS收到提交的partETags后,会逐一验证每个分片的有效性。
             * 当所有的数据分片验证通过后,OSS将把这些分片组合成一个完整的文件。
             */
            CompleteMultipartUploadRequest uploadRequest = new CompleteMultipartUploadRequest(BucketName, objectName, uploadId, partETags);
            // 在完成文件上传的同时设置文件访问权限。
            uploadRequest.setObjectACL(CannedAccessControlList.PublicRead);
            // 完成上传。
            ossClient.completeMultipartUpload(uploadRequest);
            // 关闭OSSClient。
            ossClient.shutdown();
            Date date2 = new Date();
            String endTime = date2.getHours() + ":" + date2.getMinutes() + ":" + date2.getSeconds();
            logger.info("fileUploadZone-结束上传时间:"+endTime+" 耗时:"+(date2.getTime()-date.getTime())/1000);
            Map<String, Object> map = new HashMap<>();
            map.put("url", url);
            map.put("name", fileName);
            return R.ok(map);
        } catch (Exception e) {
            e.printStackTrace();
            ossClient.shutdown();
            logger.error(e.getMessage());
            return R.error("操作失败!");
        }
    }
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值