Golang正确大文件下载方式，避免OOM

​ 今天在golang http下载一个大文件时，报错OOM，通过堆栈发现时读取文件内容时申请内存超过系统内存大小，导致进程被杀。

一、错误实现方式

func downloadFile() {
	file, err := os.OpenFile("xxx.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)
	if err != nil {
		return
	}
	
	defer func() {
		_ = file.Close()
	}()

	rsp, err := http.Get("www.baidu.com")
	defer func() {
		_ = rsp.Body.Close()
	}()
	body, err := ioutil.ReadAll(rsp.Body)
	_, _ = file.Write(body)
}

​ 经过查阅资料发现，此方式存在OOM问题，问题原因为ioutil.ReadAll会一次读取所有的文件内容，将内存保存在body变量中，变量body此时存在内存，随着不断读取，body大小不断增大，当文件大小超过系统内存可分配大小时，进程就会OOM。

二、正确实现方式

func downloadFile() (int64, error) {
	file, err := os.OpenFile("xxx.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)
	if err != nil {
		return 0, err
	}

	defer func() {
		_ = file.Close()
	}()

	rsp, err := http.Get("www.baidu.com")
	defer func() {
		_ = rsp.Body.Close()
	}()
	n, err := io.Copy(file, rsp.Body)
	return n, err
}

为什么此方式不会出现OOM现象，原因有：

• rsp.Body只是一个Reader，并没有发生真正的读取操作
• io.Copy设置了缓冲区大小限制，大小为3M，因此一次只会读取3M内容，然后写到目标Reader中，不会发生一次读取全部内容到内存。

三、io.Copy实现

此函数描述中介绍到，Copy函数实现将src拷贝到dst，直到在src上读取EOF或错误发生。

func Copy(dst Writer, src Reader) (written int64, err error) {
	return copyBuffer(dst, src, nil)
}

copyBuffer代码中可以发现，buf==nil时，会申请一个3M的缓冲区，然后for循环从src中读取内容，每次读取完成后写入到dst。

func copyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error) {
	// If the reader has a WriteTo method, use it to do the copy.
	// Avoids an allocation and a copy.
	if wt, ok := src.(WriterTo); ok {
		return wt.WriteTo(dst)
	}
	// Similarly, if the writer has a ReadFrom method, use it to do the copy.
	if rt, ok := dst.(ReaderFrom); ok {
		return rt.ReadFrom(src)
	}
	if buf == nil {
		size := 32 * 1024
		if l, ok := src.(*LimitedReader); ok && int64(size) > l.N {
			if l.N < 1 {
				size = 1
			} else {
				size = int(l.N)
			}
		}
		buf = make([]byte, size)
	}
	for {
		nr, er := src.Read(buf)
		if nr > 0 {
			nw, ew := dst.Write(buf[0:nr])
			if nw > 0 {
				written += int64(nw)
			}
			if ew != nil {
				err = ew
				break
			}
			if nr != nw {
				err = ErrShortWrite
				break
			}
		}
		if er != nil {
			if er != EOF {
				err = er
			}
			break
		}
	}
	return written, err
}

公众号：编程之蝉 专注后台开发、CDN、算法、大数据，欢迎关注，阅读最新更新