sftp大文件优化

1.背景。

        在和渠道对接的过程中，有的时候存在文件交互，当从对方的sftp服务器中将文件下载回来之后。部分数据存在长尾的情况下，随着日积月累，数据量越积越多。最终可能存在文件系统限制文件大小情况下出现，导致文件无法上传至文件系统。虽然有的时候存在特殊情况能够要求中间件提高一些文件大小上限的阈值，但是这种情况无法根本上避免。

2.解决方式

        （1）直接在服务下开辟共享空间，同一个服务多个实例均可进行文件的读写

        （2）打包成压缩包，然后按照大小进行裁剪，最后使用的过程中重新进行组装

3.优缺点

        （1）共享空间

                优点：基于现有的流程进行升级维护，改动较少（对于旧系统的维护，仅仅只是进行为了升级，无需长期持有数据的情况下）

                缺点：文件需要定期清理，历史久远的数据无法回溯历史；增加服务实例扩容的维护成本，扩容的情况下容易遗漏共享空间的配置

         (2)打包 拆包 重组

                优点：能够继续使用文件系统，可回溯历史数据，无需定期清理

                缺点：基于现有的流程进行升级维护，改动多一些，但是仍然在小范围内（影响文件下载 保存 读取）