oss多线程 上传_网页大文件分片上传/多线程上传

1 背景

用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种形式的技术方案了，也就是本文要阐述的方案。

技术要求主要有以下几方面：

支持超大数据量、10G级别以上

稳定性：除网络异常情况100%成功

准确性：数据无丢失，读写准确性100%

效率：1G文件分钟级、10G文件小时级

体验：实时进度感知、网络异常断点续传、定制字符特殊处理

2 文件上传选型

文件上传至ODPS基本思路是先文件上传至某中转区域存储，然后同步至ODPS，根据存储介质可以分为两类，一类是应用服务器磁盘，另一类类是中间介质，OSS作为阿里云推荐的海量、安全低成本云存储服务，并且有丰富的API支持，成为中间介质的首选。而文件上传至OSS又分为web直传和sdk上传两种方案，因此上传方案有如下三种，详细优缺点对比如下：

蚂蚁的文本上传功能演进过程中对第一种、第二种方案均有实践，缺点比较明显，如上表所述，不满足业务需求，因此大文件上传终极方案是方案三。

3 整体方案

以下是方案三的整体过程示意图。

请求步