服务器端文件分片合并的思考和实践

原文：服务器端文件分片合并的思考和实践

笔者在项目中处理大文件上传的需求，仿照七牛云存储的接口设计。然而，在服务器端文件合并时遇到了很大的问题：合并太慢。本文记录了当时的思路和解决的方案

大文件的需求

文件上传是个很常见的需求。尽管HTTP是基于TCP上层的协议，但是HTTP协议本身并不适合处理超大的请求体，文件上传有很大的稳定性问题，如果中途断开了，将前功尽弃。为了改善用户体验或者缓解服务器压力，通常会考虑将文件分成小片，将小片一个个上传，如果中途断开了也能从某个失败的小片开始继续上传。

在前端的处理上，对于Web页面，可以采用plupload作为上传组件，该组件支持html5、flash、sl等多种上传方式，因此，可以提供较好的浏览器兼容性。七牛云存储的js-sdk就是基于这个组件开发的。不过本文的重点并不是讨论前端技术，关于前端就到此为止。

服务器端的策略

既然文件被分成片上传，那么自然在服务器端需要将分片合并成原始的文件，那么这里存在两种策略

• 边传边合并：每上传一个分片，就将分片合并到文件的后面
• 传完一起合并：先将分片保存起来，客户端发起一个合并请求时，再将分片合并成一个文件

边传边合并

这种方式要注意：

• 由于HTTP的无状态性，这种方式需要客户端和服务器端维持一个标识。服务器端根据标识，才能知道分片应该向哪个目标文件Append
• 如果客户端中途停止上传，那么保存在服务器上的目标文件将成为垃圾文件，文件即不能被删除又没有利用价值。因为服务端无法知道文件究竟的完成状态