golang实现大文件读取

在实际工作，我们需要读取大数据文件，文件可能上G百G，所以我们不可能一次性的读取到内存，io.readAll不可用，那么我们可以考虑分块，IO流的方式如io.copy.

对比两者:

io.ReadAll：

io.ReadAll 是一个方便的函数，可以将整个文件内容一次性读取到内存中，并返回一个字节切片。这在处理小文件或者需要一次性加载数据的情况下非常适用。然而，对于大文件，使用 io.ReadAll 可能会导致以下问题：

• 内存消耗：读取大文件可能导致内存消耗急剧增加，甚至超出可用内存限制。
• 性能问题：应用程序的响应性可能下降，用户可能会感到应用程序不再响应。
• 延迟问题：大文件的读取需要更多时间，可能导致较长的延迟。

io.Copy：

io.Copy 函数通过逐块的方式从源读取数据并将其写入目标，适用于流式传输大文件。它具有以下优势：

• 低内存消耗：io.Copy 逐块处理数据，不需要将整个文件加载到内存中，从而降低内存消耗。
• 高性能：流式传输提高了读取和写入的效率，适用于需要高性能处理大文件的情况。
• 更好的响应性：io.Copy 不会一次性阻塞等待整个文件读取完成，从而提高应用程序的响应性

 示例:
 

package test

import (
	"fmt"
	"io"
	"os"
	"runtime"
	"testing"
)

func largeFileRead(_file string) {
	f, err := os.Open(_file)
	if err != nil {
		fmt.Errorf("打开文件错误：%v", err)
		return
	}

	defer f.Close()

	// 读取数据大写
	buffer := make([]byte, 4096)
	for {
		getMemory()
		n, err := f.Read(buffer)
		if err != nil && err != io.EOF {
			fmt.Errorf("读取文件错误：%v", err)
			return
		}

		if n == 0 {
			break
		}

		fmt.Println("内容：", string(buffer))
	}
	fmt.Println("读取完成")
}

func getMemory() {
	// 获取内存信息
	var m runtime.MemStats
	runtime.ReadMemStats(&m)
	fmt.Printf("%d KB\n", m.Alloc/1024)
}

func Test_largeFileRead(t *testing.T) {
	fileName := "D:xxxx.txt"
	largeFileRead(fileName)
}

运行结果：

实时内存占用：854KB,文件大小102M