下载实现的精髓:从sftp或者文件服务器上下载大文件到本地,都是先把sftp或者文件服务器上的大文件复制一份到服务器,再从服务器上下载到本地。
环境信息:
微服务内存:100M,磁盘:1G
原始方案:
直接从sftp上复制文件到服务器上,再在服务器上压缩,再从服务器上下载压缩后的文件。
问题:由于用的是字节流读取文件,一次读取文件过大,导致内存占用加大。10M的文件读取需要100M的内存。100M的文件下载就会导致OOM。
改进后的方案:
参考Java的流式读取,先在ftp上压缩。然后运用sftp的下载接口下载到服务器。再用echo.context.stream流下载到本地浏览器。
改进后的效果:
500M的文件也只用了25M内存
关键点分析:
stream流实际使用的是io.copy。核心是分块读取,每次只读4M的文件。
func Copy(dst Writer, src Reader) (written int64, err error) {
return copyBuffer(dst, src, nil)
}
copyBuffer代码中可以发现,buf==nil时,会申请一个4M的缓冲区,然后for循环从src中读取内容,每次读取完成后写入到dst。
func copyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error) {
// If the reader has a WriteTo method, use i