本文分析了Go语言中ioutil.ReadAll函数的内存消耗问题，指出其在处理大数据量时可能导致性能下降，推荐使用io.Copy函数作为替代，因为它按需读取和写入，避免了不必要的切片扩容。
robots, err := io.ReadAll(res.Body)
res.Body.Close()
if err != nil {
log.Fatal(err)
}
fmt.Printf(“%s”, robots)
}
http.Get() 返回的数据，存储在 res.Body 中，通过 ioutil.ReadAll 将其读取出来。
表面上看这段代码没有什么问题，但仔细分析却并非如此。想要探究其背后的原因，就只能靠源码说话。
ioutil.ReadAll 的源码如下：
// src/io/ioutil/ioutil.go
func ReadAll(r io.Reader) ([]byte, error) {
return io.ReadAll®
}
Go 1.16 版本开始，直接调用 io.ReadAll() 函数，下面再看看 io.ReadAll() 的实现：
// src/io/io.go
func ReadAll(r Reader) ([]byte, error) {
// 创建一个 512 字节的 buf
b := make([]byte, 0, 512)
for {
if len(b) == cap(b) {
// 如果 buf 满了，则追加一个元素，使其重新分配内存
b = append(b, 0)[:len(b)]
}
// 读取内容到 buf
n, err := r.Read(b[len(b):cap(b)])
b = b[:len(b)+n]
// 遇到结尾或者报错则返回
if err != nil {
if err == EOF {
err = nil
}
return b, err
}
}
}
我给代码加上了必要的注释，这段代码的执行主要分三个步骤：
-
创建一个 512 字节的
buf； -
不断读取内容到
buf，当buf满的时候，会追加一个元素，促使其重新分配内存； -
直到结尾或报错，则返回；
知道了执行步骤，但想要分析其性能问题，还需要了解 Go 切片的扩容策略，如下：
-
如果期望容量大于当前容量的两倍就会使用期望容量；
-
如果当前切片的长度小于 1024 就会将容量翻倍；
-
如果当前切片的长度大于 1024 就会每次增加 25% 的容量，直到新容量大于期望容量；
也就是说，如果待拷贝数据的容量小于 512 字节的话，性能不受影响。但如果超过 512 字节，就会开始切片扩容。数据量越大，扩容越频繁，性能受影响越大。
如果数据量足够大的话，内存可能就直接撑爆了，这样的话影响就大了。
那有更好的替换方案吗？当然是有的，我们接着往下看。
io.Copy
可以使用 io.Copy 函数来代替，源码定义如下：
src/io/io.go
func Copy(dst Writer, src Reader) (written int64, err error) {
return copyBuffer(dst, src, nil)
}
其功能是直接从 src 读取数据，并写入到 dst。
和 ioutil.ReadAll 最大的不同就是没有把所有数据一次性都取出来，而是不断读取，不断写入。
具体实现 Copy 的逻辑在 copyBuffer 函数中实现：
// src/io/io.go
func copyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error) {
// 如果源实现了 WriteTo 方法，则直接调用 WriteTo
if wt, ok := src.(WriterTo); ok {
return wt.WriteTo(dst)
}
// 同样的，如果目标实现了 ReaderFrom 方法，则直接调用 ReaderFrom
if rt, ok := dst.(ReaderFrom); ok {
return rt.ReadFrom(src)
}
// 如果 buf 为空，则创建 32KB 的 buf
if buf == nil {
size := 32 * 1024
if l, ok := src.(*LimitedReader); ok && int64(size) > l.N {
if l.N < 1 {
size = 1
} else {
size = int(l.N)
}
}
buf = make([]byte, size)
}
// 循环读取数据并写入
for {
nr, er := src.Read(buf)
if nr > 0 {
nw, ew := dst.Write(buf[0:nr])
if nw < 0 || nr < nw {
nw = 0
if ew == nil {
ew = errInvalidWrite
}
}
written += int64(nw)
if ew != nil {
err = ew
break
}
if nr != nw {
err = ErrShortWrite
break
}
}
if er != nil {
if er != EOF {
err = er
}
break
}
}
return written, err
}
此函数执行步骤如下：
-
如果源实现了
WriteTo方法，则直接调用WriteTo方法； -
同样的，如果目标实现了 ReaderFrom 方法，则直接调用 ReaderFrom 方法；
-
如果
buf为空，则创建 32KB 的buf； -
最后就是循环
Read和Write；
对比之后就会发现，io.Copy 函数不会一次性读取全部数据，也不会频繁进行切片扩容，显然在数据量大时是更好的选择。
ioutil 其他函数
再看看 ioutil 包的其他函数：
-
func ReadDir(dirname string) ([]os.FileInfo, error) -
func ReadFile(filename string) ([]byte, error) -
func WriteFile(filename string, data []byte, perm os.FileMode) error -
func TempFile(dir, prefix string) (f *os.File, err error) -
func TempDir(dir, prefix string) (name string, err error) -
func NopCloser(r io.Reader) io.ReadCloser
下面举例详细说明：
ReadDir
// ReadDir 读取指定目录中的所有目录和文件（不包括子目录）。
// 返回读取到的文件信息列表和遇到的错误，列表是经过排序的。
func ReadDir(dirname string) ([]os.FileInfo, error)
举例：
package main
import (
“fmt”
“io/ioutil”
)
func main() {
dirName := “…/”
fileInfos, _ := ioutil.ReadDir(dirName)
fmt.Println(len(fileInfos))
for i := 0; i < len(fileInfos); i++ {
fmt.Printf(“%T\n”, fileInfos[i])
fmt.Println(i, fileInfos[i].Name(), fileInfos[i].IsDir())
}
}
ReadFile
// ReadFile 读取文件中的所有数据，返回读取的数据和遇到的错误
// 如果读取成功，则 err 返回 nil，而不是 EOF
func ReadFile(filename string) ([]byte, error)
举例：
package main
import (
“fmt”
“io/ioutil”
“os”
)
func main() {
data, err := ioutil.ReadFile(“./test.txt”)
if err != nil {
fmt.Println(“read error”)
os.Exit(1)
}
fmt.Println(string(data))
}
WriteFile
// WriteFile 向文件中写入数据，写入前会清空文件。
// 如果文件不存在，则会以指定的权限创建该文件。
// 返回遇到的错误。
func WriteFile(filename string, data []byte, perm os.FileMode) error
举例：
package main
import (
“fmt”
“io/ioutil”
)
func main() {
fileName := “./text.txt”
s := “Hello AlwaysBeta”
err := ioutil.WriteFile(fileName, []byte(s), 0777)
fmt.Println(err)
}
TempFile
// TempFile 在 dir 目录中创建一个以 prefix 为前缀的临时文件，并将其以读
// 写模式打开。返回创建的文件对象和遇到的错误。
// 如果 dir 为空，则在默认的临时目录中创建文件（参见 os.TempDir），多次
// 调用会创建不同的临时文件，调用者可以通过 f.Name() 获取文件的完整路径。
// 调用本函数所创建的临时文件，应该由调用者自己删除。
func TempFile(dir, prefix string) (f *os.File, err error)
举例：
package main
import (
“fmt”
“io/ioutil”
“os”
)
func main() {
f, err := ioutil.TempFile(“./”, “Test”)
if err != nil {
fmt.Println(err)
}
defer os.Remove(f.Name()) // 用完删除
fmt.Printf(“%s\n”, f.Name())
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Go语言工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Go语言全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Golang知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注Go）
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
果低效又漫长，而且极易碰到天花板技术停滞不前！**
因此收集整理了一份《2024年Go语言全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
[外链图片转存中…(img-wgGDY7ya-1712934946079)]
[外链图片转存中…(img-D1vUAaUi-1712934946080)]
[外链图片转存中…(img-j1fFIhSc-1712934946081)]
[外链图片转存中…(img-HiohcfCA-1712934946081)]
[外链图片转存中…(img-FdymGzlP-1712934946082)]
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Golang知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注Go）
[外链图片转存中…(img-3ONXvaL0-1712934946082)]
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
