【Go】优化文件下载处理：从多级复制到零拷贝流式处理

在开发音频处理服务过程中，我们面临一个常见需求：从网络下载音频文件并保存到本地。这个看似简单的操作，实际上有很多优化空间。本文将分享一个逐步优化的过程，展示如何从一个基础实现逐步改进到高效的流式下载方案。

初始实现：读取全部再写入

最初的实现相对简单，但存在明显的内存和IO效率问题：

body, _ := io.ReadAll(res.Body)
defer res.Body.Close()

saveDir, _ := path.Split(writePath)
_ = os.MkdirAll(saveDir, 0776)

fd, _ := os.OpenFile(writePath, os.O_CREATE|os.O_RDWR, 0776)
_, _ = fd.Write(body)
fd.Close()

这个实现存在几个问题：

1. 将整个响应体一次性读入内存，对于大文件会消耗大量内存
2. 忽略了错误处理
3. 执行了两次IO操作：先读取到内存，再写入文件

第一次优化：预分配缓冲区

第一步优化是基于已知文件大小预分配缓冲区，减少内存重新分配：

var buf []byte
if size > 0 {
   
   
    buf = make([]byte, 0