读文件和读sqlite谁快_GOLANG秒读16GB大文件

现代计算机系统每天都会产生大量的数据，随着系统规模的增大，把产生的所有调试数据存储到数据库是不可行的，因为它们产生以后就不会被改变，只是用来分析和解决故障。因此把它存储在本地磁盘上是一个很好的办法。

在这我们打算使用GOLANG读取一个16GB大小，上百万行内容的txt或者log文件。跟我一起来吧。

LET CODE

首先我们使用GO标准库中的os.File来打开文件

f

当文件被打开以后，我们有两个选择

1. 逐行读取，这能帮助我们减少内存的使用，但会耗费大量的时间在IO上。
2. 一次性读取整个文件到内存中进行处理，这将显著的增加内存使用，但是会节省大量的时间。

但是要注意，我们的文件大小是16GB，因此我们不可能把它一次性的加载到内存中。但是第一个选择也不适合，因为我们想在几秒内处理完成。

因此，仔细想想，我们也许还有第三个选择，我们不去一次性读取整个文件到内存中，而是分段读取，想想看GO的标准库中是不是有个bufio.NewReader()呢？

r 

一旦我们有个一个分块，我们就可以开启一个goroutine去处理它。因此上面的代码可以做如下修改。

//sync pools to reuse the memory and decrease the preassure on //Garbage Collector