本文探讨了处理大文件上传的需求，重点在于服务器端的分片合并策略。文章介绍了两种策略：边传边合并和传完一起合并，并分析了各自的优缺点。针对合并过程中的延迟问题，作者提出并探讨了并行处理和文件系统底层处理的可能性，最终通过Nginx的模块实现了高效的文件合并解决方案，以减少用户等待时间。尽管这样可以解决用户体验问题，但后续的文件处理仍需要异步合并来优化。
笔者在项目中处理大文件上传的需求，仿照七牛云存储的接口设计。然而，在服务器端文件合并时遇到了很大的问题：合并太慢。本文记录了当时的思路和解决的方案
大文件的需求
文件上传是个很常见的需求。尽管HTTP是基于TCP上层的协议，但是HTTP协议本身并不适合处理超大的请求体，文件上传有很大的稳定性问题，如果中途断开了，将前功尽弃。为了改善用户体验或者缓解服务器压力，通常会考虑将文件分成小片，将小片一个个上传，如果中途断开了也能从某个失败的小片开始继续上传。
在前端的处理上，对于Web页面，可以采用plupload作为上传组件，该组件支持html5、flash、sl等多种上传方式，因此，可以提供较好的浏览器兼容性。七牛云存储的js-sdk就是基于这个组件开发的。不过本文的重点并不是讨论前端技术，关于前端就到此为止。
服务器端的策略
既然文件被分成片上传，那么自然在服务器端需要将分片合并成原始的文件，那么这里存在两种策略
- 边传边合并：每上传一个分片，就将分片合并到文件的后面
- 传完一起合并：先将分片保存起来，客户端发起一个合并请求时，再将分片合并成一个文件
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
