阿里云OSS修改大文件数据优化方案

一、问题描述

阿里云OSS的程序开发中会遇到修改一个很大对象（object）中一段数据的情况。而OSS的特性决定了，在整个生命周期内，OSS对象的数据不可变更。因此， OSS不支持修改文件的部分内容等操作。重复上传同名的对象会覆盖之前的对象。如果需要修改一个文件的部分内容，通常的方案是将整个文件下载到本地，然后将修改后的文件上传到OSS，覆盖原始文件。对于 大文件 而言，这样的做会带来不必要的网络开销，浪费大量时间。利用OSS的一些数据接口的特性，可以对改问题的处理流程做一定的优化。

 

二、优化原理

（1 ）拷贝对象：OSS 提供了CopyObject 的功能来实现OSS 的内部拷贝，这样在用户和OSS 之间就无需传输大量的数据。

（2 ）分片上传：将要上传的文件分成多个数据块(OSS 里又称之为Part) 来分别上传，上传完成之后再调用OSS 的接口将这些Part 组合成一个Object 。

（3 ）分片拷贝：OSS 提供了类似断点续传上传的功能来完成大文件的拷贝。基本操作步骤和断点续传上传基本一致，只是数据源从HTTP 请求直接上传改成从源Object 中获取。分片上传和分片拷贝操作流程基本一致，因此可以考虑结合两种方式优化修改大文件部分数据的方案。

（4）创建分片上传任务时，分片任务对应的Object名字可以和已经存在的Object相同，在分片上传任务没有设置结束时，已经存在的Object不会受到影响。上传任务结束时，新的Object才会覆盖原来的Object。

 

三、优化方案