2024年为什么要避免在 Go 中使用 ioutil(2)，2024年最新实现原理讲解

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Go语言开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取

func ReadAll(r io.Reader) ([]byte, error) {

return io.ReadAll®

}

Go 1.16 版本开始，直接调用 io.ReadAll() 函数，下面再看看 io.ReadAll() 的实现：

// src/io/io.go

func ReadAll(r Reader) ([]byte, error) {

// 创建一个 512 字节的 buf

b := make([]byte, 0, 512)

for {

if len(b) == cap(b) {

// 如果 buf 满了，则追加一个元素，使其重新分配内存

b = append(b, 0)[:len(b)]

}

// 读取内容到 buf

n, err := r.Read(b[len(b):cap(b)])

b = b[:len(b)+n]

// 遇到结尾或者报错则返回

if err != nil {

if err == EOF {

err = nil

}

return b, err

}

}

}

我给代码加上了必要的注释，这段代码的执行主要分三个步骤：

1. 创建一个 512 字节的 buf；

2. 不断读取内容到 buf，当 buf 满的时候，会追加一个元素，促使其重新分配内存；

3. 直到结尾或报错，则返回；

知道了执行步骤，但想要分析其性能问题，还需要了解 Go 切片的扩容策略，如下：

1. 如果期望容量大于当前容量的两倍就会使用期望容量；

2. 如果当前切片的长度小于 1024 就会将容量翻倍；

3. 如果当前切片的长度大于 1024 就会每次增加 25% 的容量，直到新容量大于期望容量；

也就是说，如果待拷贝数据的容量小于 512 字节的话，性能不受影响。但如果超过 512 字节，就会开始切片扩容。数据量越大，扩容越频繁，性能受影响越大。

如果数据量足够大的话，内存可能就直接撑爆了，这样的话影响就大了。

那有更好的替换方案吗？当然是有的，我们接着往下看。

io.Copy

可以使用 io.Copy 函数来代替，源码定义如下：

src/io/io.go

func Copy(dst Writer, src Reader) (written int64, err error) {

return copyBuffer(dst, src, nil)

}

其功能是直接从 src 读取数据，并写入到 dst。

和 ioutil.ReadAll 最大的不同就是没有把所有数据一次性都取出来，而是不断读取，不断写入。

具体实现 Copy 的逻辑在 copyBuffer 函数中实现：

// src/io/io.go

func copyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error) {

// 如果源实现了 WriteTo 方法，则直接调用 WriteTo

if wt, ok := src.(WriterTo); ok {

return wt.WriteTo(dst)

}

// 同样的，如果目标实现了 ReaderFrom 方法，则直接调用 ReaderFrom

if rt, ok := dst.(ReaderFrom); ok {

return rt.ReadFrom(src)

}

// 如果 buf 为空，则创建 32KB 的 buf

if buf == nil {

size := 32 * 1024

if l, ok := src.(*LimitedReader); ok && int64(size) > l.N {

if l.N < 1 {

size = 1

} else {

size = int(l.N)

}

}

buf = make([]byte, size)

}

// 循环读取数据并写入

for {

nr, er := src.Read(buf)

if nr > 0 {

nw, ew := dst.Write(buf[0:nr])

if nw < 0 || nr < nw {

nw = 0

if ew == nil {

ew = errInvalidWrite

}

}

written += int64(nw)

if ew != nil {

err = ew

break

}

if nr != nw {

err = ErrShortWrite

break

}

}

if er != nil {

if er != EOF {

err = er

}

break

}

}

return written, err

}

此函数执行步骤如下：

1. 如果源实现了 WriteTo 方法，则直接调用 WriteTo 方法；

2. 同样的，如果目标实现了 ReaderFrom 方法，则直接调用 ReaderFrom 方法；

3. 如果 buf 为空，则创建 32KB 的 buf；

4. 最后就是循环 Read 和 Write；

对比之后就会发现，io.Copy 函数不会一次性读取全部数据，也不会频繁进行切片扩容，显然在数据量大时是更好的选择。

ioutil 其他函数

再看看 ioutil 包的其他函数：

• func ReadDir(dirname string) ([]os.FileInfo, error)

• func ReadFile(filename string) ([]byte, error)

• func WriteFile(filename string, data []byte, perm os.FileMode) error

• func TempFile(dir, prefix string) (f *os.File, err error)

• func TempDir(dir, prefix string) (name string, err error)

• func NopCloser(r io.Reader) io.ReadCloser

下面举例详细说明：

ReadDir

// ReadDir 读取指定目录中的所有目录和文件（不包括子目录）。

// 返回读取到的文件信息列表和遇到的错误，列表是经过排序的。

func ReadDir(dirname string) ([]os.FileInfo, error)

举例：

package main

import (

“fmt”

“io/ioutil”

)

func main() {

dirName := “…/”

fileInfos, _ := ioutil.ReadDir(dirName)

fmt.Println(len(fileInfos))

for i := 0; i < len(fileInfos); i++ {

fmt.Printf(“%T\n”, fileInfos[i])

fmt.Println(i, fileInfos[i].Name(), fileInfos[i].IsDir())

}

}

ReadFile

// ReadFile 读取文件中的所有数据，返回读取的数据和遇到的错误

// 如果读取成功，则 err 返回 nil，而不是 EOF

func ReadFile(filename string) ([]byte, error)

举例：

package main

import (

“fmt”

“io/ioutil”

“os”

)

func main() {

data, err := ioutil.ReadFile(“./test.txt”)

if err != nil {

fmt.Println(“read error”)

os.Exit(1)

}

fmt.Println(string(data))

}

WriteFile

// WriteFile 向文件中写入数据，写入前会清空文件。

// 如果文件不存在，则会以指定的权限创建该文件。

// 返回遇到的错误。

func WriteFile(filename string, data []byte, perm os.FileMode) error

举例：

package main

import (

“fmt”

“io/ioutil”

)

func main() {

fileName := “./text.txt”

s := “Hello AlwaysBeta”

err := ioutil.WriteFile(fileName, []byte(s), 0777)

fmt.Println(err)

}

TempFile

// TempFile 在 dir 目录中创建一个以 prefix 为前缀的临时文件，并将其以读

// 写模式打开。返回创建的文件对象和遇到的错误。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Go语言开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取

:= “Hello AlwaysBeta”

err := ioutil.WriteFile(fileName, []byte(s), 0777)

fmt.Println(err)

}

TempFile

// TempFile 在 dir 目录中创建一个以 prefix 为前缀的临时文件，并将其以读

// 写模式打开。返回创建的文件对象和遇到的错误。

[外链图片转存中…(img-J7cZ0sTx-1715662775120)]
[外链图片转存中…(img-NaCEzhPh-1715662775121)]
[外链图片转存中…(img-IfFm5ihR-1715662775121)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Go语言开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取