OSS大文件分片上传

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

最近做到项目中一个上传视频的功能，需要使用大文件分片上传，在网上找了一些资源借鉴，算是整出来一套可以用的，但是无奈，公司使用的是OSS，之前的东西只能推翻，使用阿里的OSS大文件分片上传SDK，此处记录一下。

---

一、原理

上边是官方给的图解

大文件分片上传的原理还是十分易懂的，主要是将一个文件切割成若干个固定的数据块（最后一块除外），然后将每个块分别上传，最后在云端存储的bucket中进行文件合并，并删除所有的文件块，其主要作用是为了去加快上传效率。

二、工具类

直接上代码。我将OSS的sdk封了一个工具类出来

import com.aliyun.oss.ClientException;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.OSSException;
import com.aliyun.oss.common.auth.CredentialsProvider;
import com.aliyun.oss.common.auth.DefaultCredentialProvider;
import com.aliyun.oss.internal.Mimetypes;
import com.aliyun.oss.model.*;
import com.vibang.tyrl.admin.api.enums.OssFileOriginEnum;
import com.vibang.tyrl.common.core.util.R;
import org.springframework.web.multipart.MultipartFile;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.nio.charset.StandardCharsets;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class OSSUtil {
    // Endpoint以华东1（杭州）为例，其它Region请按实际情况填写。
    private final static String endpoint = "https://oss-cn-beijing.aliyuncs.com";
    // RAM用户的访问密钥（AccessKey ID和AccessKey Secret）。
    private final static String accessKeyId = "";
    private final static String accessKeySecret = "";
    // 使用代码嵌入的RAM用户的访问密钥配置访问凭证。
    private final static CredentialsProvider credentialsProvider = new DefaultCredentialProvider(accessKeyId, accessKeySecret);
    // 填写Bucket名称，例如examplebucket。
    private final static String bucketName = "";
    public static R upload(MultipartFile file,Integer key) throws Exception {
        // 填写Object完整路径，例如exampledir/exampleobject.txt。Object完整路径中不能包含Bucket名称。
        String originalFilename = file.getOriginalFilename();
        String suffix = originalFilename.substring(originalFilename.lastIndexOf("."));
        String fileName = System.currentTimeMillis()+suffix;
        //根据枚举类进行文件分包上传
        String objectName = OssFileOriginEnum.getEumByCode(key).getPacketName() + "/" + fileName;
        // 获取字节数组
        byte[] bytes = file.getBytes();
        // 创建临时文件
        File tempFile = File.createTempFile("temp", suffix);
        // 将字节数组写入临时文件
        try (FileOutputStream fos = new FileOutputStream(tempFile)) {
            fos.write(bytes);
        }
        // 创建OSSClient实例。
        OSS ossClient = new OSSClientBuilder().build(endpoint, credentialsProvider);
        try {
            // 创建InitiateMultipartUploadRequest对象。
            InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, objectName);
            // 如果需要在初始化分片时设置请求头，请参考以下示例代码。
            ObjectMetadata metadata = new ObjectMetadata();
            // 指定初始化分片上传时是否覆盖同名Object。此处设置为true，表示禁止覆盖同名Object。
//             metadata.setHeader("x-oss-forbid-overwrite", "true");
//            // 根据文件自动设置ContentType。如果不设置，ContentType默认值为application/oct-srream。
             request.setObjectMetadata(metadata);

            if (metadata.getContentType() == null) {
                metadata.setContentType(Mimetypes.getInstance().getMimetype(tempFile, objectName));
            }

            // 初始化分片。
            InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);


            // 返回uploadId。
            String uploadId = upresult.getUploadId();
            // 根据uploadId执行取消分片上传事件或者列举已上传分片的操作。
            // 如果您需要根据您需要uploadId执行取消分片上传事件的操作，您需要在调用InitiateMultipartUpload完成初始化分片之后获取uploadId。
            // 如果您需要根据您需要uploadId执行列举已上传分片的操作，您需要在调用InitiateMultipartUpload完成初始化分片之后，且在调用CompleteMultipartUpload完成分片上传之前获取uploadId。
            // System.out.println(uploadId);

            // partETags是PartETag的集合。PartETag由分片的ETag和分片号组成。
            List<PartETag> partETags = new ArrayList<PartETag>();
            // 每个分片的大小，用于计算文件有多少个分片。单位为字节。
            final long partSize = 10 * 1024 * 1024L;   //10 MB。

            // 根据上传的数据大小计算分片数。以本地文件为例，说明如何通过File.length()获取上传数据的大小。
            final File sampleFile = tempFile;
            long fileLength = sampleFile.length();
            int partCount = (int) (fileLength / partSize);
            if (fileLength % partSize != 0) {
                partCount++;
            }
            // 遍历分片上传。
            for (int i = 0; i < partCount; i++) {
                long startPos = i * partSize;
                long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
                UploadPartRequest uploadPartRequest = new UploadPartRequest();
                uploadPartRequest.setBucketName(bucketName);
                uploadPartRequest.setKey(objectName);
                uploadPartRequest.setUploadId(uploadId);
                // 设置上传的分片流。
                // 以本地文件为例说明如何创建FIleInputstream，并通过InputStream.skip()方法跳过指定数据。
                InputStream instream = new FileInputStream(sampleFile);
                instream.skip(startPos);
                uploadPartRequest.setInputStream(instream);
                // 设置分片大小。除了最后一个分片没有大小限制，其他的分片最小为100 KB。
                uploadPartRequest.setPartSize(curPartSize);
                // 设置分片号。每一个上传的分片都有一个分片号，取值范围是1~10000，如果超出此范围，OSS将返回InvalidArgument错误码。
                uploadPartRequest.setPartNumber(i + 1);
                // 每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。
                // 上传文件的同时指定进度条参数。此处PutObjectProgressListenerDemo为调用类的类名，请在实际使用时替换为相应的类名。
                UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest.withProgressListener(new ProgressOSSUtil()));
                // 每次上传分片之后，OSS的返回结果包含PartETag。PartETag将被保存在partETags中。
                partETags.add(uploadPartResult.getPartETag());
            }
            // 创建CompleteMultipartUploadRequest对象。
            // 在执行完成分片上传操作时，需要提供所有有效的partETags。OSS收到提交的partETags后，会逐一验证每个分片的有效性。当所有的数据分片验证通过后，OSS将把这些分片组合成一个完整的文件。
            CompleteMultipartUploadRequest completeMultipartUploadRequest =
                    new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);
            // 完成分片上传。
            CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);
            System.out.println(completeMultipartUploadResult.getETag());
            System.out.println("uploadId:"+uploadId);
            Map<String, Object> map = new HashMap<>();
            map.put("path","https://vibang.oss-cn-beijing.aliyuncs.com/" + objectName);
            map.put("uploadId",uploadId);
            map.put("totalPart",partCount);
            return R.ok(map);
        } catch (OSSException oe) {
            Map<String, Object> map = new HashMap<>();
            map.put("ErrorMessage",oe.getErrorMessage());
            map.put("ErrorCode",oe.getErrorCode());
            map.put("RequestID",oe.getRequestId());
            map.put("HostID",oe.getHostId());
            return R.ok(map);
        } catch (ClientException ce) {
            Map<String, Object> map = new HashMap<>();
            map.put("ErrorMessage", ce.getMessage());
            return R.ok(map);
        } finally {
            if (ossClient != null) {
                ossClient.shutdown();
            }
        }
    }


    public static R deleteFile(String path){
        // 填写文件完整路径。文件完整路径中不能包含Bucket名称。
        int lastIndex = path.lastIndexOf("aliyuncs.com/");
        String objectName = path.substring(lastIndex + 13);
        // 创建OSSClient实例。
        OSS ossClient = new OSSClientBuilder().build(endpoint, credentialsProvider);
        try {
            // 删除文件或目录。如果要删除目录，目录必须为空。
            ossClient.deleteObject(bucketName, objectName);
            return R.ok("成功");
        } catch (OSSException oe) {
            Map<String, Object> map = new HashMap<>();
            map.put("ErrorMessage",oe.getErrorMessage());
            map.put("ErrorCode",oe.getErrorCode());
            map.put("RequestID",oe.getRequestId());
            map.put("HostID",oe.getHostId());
            return R.ok(map);
        } catch (ClientException ce) {
            Map<String, Object> map = new HashMap<>();
            map.put("ErrorMessage", ce.getMessage());
            return R.ok(map);
        } finally {
            if (ossClient != null) {
                ossClient.shutdown();
            }
        }
    }
}

二、注意事项

官方不推荐将accessKeyId 和 accessKeySecret 直接配置在代码当中，建议的是直接配置在环境变量中，由于前期的开发测试是在本地进行的，所以就使用了，如果需要配置环境变量，还是需要去官方给的手册上，按步骤进行操作即可：传送门放这里
OSS文件存储JavaSDK配置访问凭证

也可以在yml文件中配置固定值，比我写的这种方式要安全一点，在类中再使用@Value取值，需要注意的是，当使用@Value取值时，该类需要使用@Component注解标注为组件，并且，这些属性不能使用static和final修饰，否则会报null异常。

可以对该工具类进行扩展，只要没有执行最后的合并，这些数据块永远也不会删除，结合数据库，可以对上传的文件块做一个记录，因为每一个文件块都有固定的md5值，并且上传完以后，sdk会返回这个文件块的md5值，所以利用这点可以做一个断点续传和秒传，断点续传即：在库中查找文件上次上传的文件块，跳过已完成上传的文件块，秒传：根据文件的MD5唯一值去判定，是否存在这个文件，进行秒传。不过公司并不需要这个功能，就没做。

---

总结

主要记录一下OSS大文件分片上传的SDK使用