golang的文件读写操作

---

一、获取文件列表路径

第一步我要获取一个文件列表类似于

[file/DSC_5882.png file/IMG_4634.png file/IMG_4669.png]

具体代码如下：

package _case

import (
	"fmt"
	"log"
	"os"
	"strings"
)

// 获取文件路径
// 源文件目录
const sourceDir = "file/"

// 目标文件目录
const destDir = "det_file/"

// 拿到目录下完整的路径
func geFiles(dir string) []string {
	//读取目录
	fs, err := os.ReadDir(dir)
	if err != nil {
		log.Fatal()
	}
	//定义一个list接收我们的文件路径
	list := make([]string, 0)
	for _, f := range fs {
		//如果是个空的文件夹就继续
		if f.IsDir() {
			continue
		}
		//去掉字符串s中首部以及尾部与字符串cutset中每个相匹配的字符   //Name返回条目所描述的文件（或子目录）的名称。
		fullName := strings.Trim(dir, "/") + "/" + f.Name()
		list = append(list, fullName)
		fmt.Println(list)
	}
	return list
}

二、copy操作

下面我们用到了一个path.split（）的函数就是把文件名输出然后再进行路径的拼接，

package _case

//文件复制
import (
	"io"
	"log"
	"os"
	"path"
)

// 拷贝目录到目录
func Copy() {
	list := geFiles(sourceDir)
	for _, f := range list {
		//Split 函数将路径从最后一个斜杠后面位置分隔为两个部分（ dir 和 file ）并返回。如果路径中没有斜杠，
		//函数返回值 dir 会设为空字符串， file 会设为 path 。两个返回值满足 path == dir+file
		_, name := path.Split(f)                 //把文件名输出
		destFileName := destDir + "copy/" + name //这个name是把文件名放在了目标文件加后
		//fmt.Println(destFileName)
		//复制文件
		CopyFile(f, destFileName)
	}
}

func CopyFile(srcName, destName string) (int64, error) {
	//打开源文件
	src, err := os.Open(srcName)
	if err != nil {
		log.Fatal(err)
	}
	defer src.Close()
	//打开目标文件   可读可写可创建
	det, err := os.OpenFile(destName, os.O_CREATE|os.O_WRONLY, 0644)
	if err != nil {
		log.Fatal(err)
	}
	defer det.Close()
	return io.Copy(det, src)
}

三、一次性读取文件内容并写入

package _case

import (
	"log"
	"os"
	"path"
)

// 一次性读取文件内容并写入
func ReadWriteFiles() {
	//获取源文件路径
	list := geFiles(sourceDir)
	for _, f := range list {
		bytes, err := os.ReadFile(f)
		if err != nil {
			log.Fatal(err)
		}
		_, name := path.Split(f)
		destname := destDir + "normal/" + name
		err1 := os.WriteFile(destname, bytes, 0644)
		if err1 != nil {
			log.Fatal(err1)
		}
	}
}

四、 分片读取文件内容分布写入新文件

下面就是一边把文件读出来然后再写入，适用于大文件的io操作

package _case

import (
	"io"
	"log"
	"os"
	"path"
)

// 适用大文件
// 分片读取文件内容分布写入新文件
func OneSideReadWriteToDest() {
	list := geFiles(sourceDir)
	for _, f := range list {
		_, name := path.Split(f)
		destFileName := destDir + "one_side/" + name
		//文件写入
		OneSideReadWrite(f, destFileName)

	}
}
func OneSideReadWrite(srcName, destName string) {
	src, err := os.Open(srcName)
	if err != nil {
		log.Fatal("1", err)
	}
	defer src.Close()
	dst, err := os.OpenFile(destName, os.O_CREATE|os.O_APPEND|os.O_WRONLY, 0644)
	if err != nil {
		log.Fatal("2", err)
	}
	defer dst.Close()
	//切片 文件最大的限度
	buf := make([]byte, 1024)
	for {
		n, err := src.Read(buf)
		if err != nil && err != io.EOF { //如果没有这个io.EOF的话就会报错
			log.Fatal("3...", err)
		}
		if n == 0 {
			break
		}
		dst.Write(buf[:n])
	}

}

五、按行读取

1.1一次性读取，按行拆分并打印

这里就是将文件一次性读取出来然后按行输出， 适合小文件读取。

const README = "README.MD"
func ReadLine1() {
	fileHeader, err := os.OpenFile(README, os.O_RDONLY, 0444)
	if err != nil {
		log.Fatal(err)
	}
	defer fileHeader.Close()
	//将文件一次性读取出来
	bytes, err := io.ReadAll(fileHeader)
	if err != nil {
		log.Fatal(err)
	}
	list := strings.Split(string(bytes), "\n")
	for _, i := range list {
		fmt.Println(i)
	}

}

1.2通过bufio按行读取可以用于大文件

bufio 通过对io模块的封装提供了数据的缓冲功能,能一定程度减少大文件数据块带来的开销
当发起读写操作时，会尝试从缓冲区读取数据，缓冲区没有数据后，才会从数据源去读取
缓冲区大小默认为4k

func ReadLine2() {
	fileHeader, err := os.OpenFile(README, os.O_RDONLY, 0444)
	if err != nil {
		log.Fatal(err)
	}
	defer fileHeader.Close()
	reader := bufio.NewReader(fileHeader)
	for true {
		//加上分隔符
		line, err := reader.ReadString('\n')
		if err == io.EOF {
			break
		}
		fmt.Print(line)
	}
}

通过Scanner ， scanner的默认大小则是64k

func ReadLine3() {
	fileHeader, err := os.OpenFile(README, os.O_RDONLY, 0444)
	if err != nil {
		log.Fatal(err)
	}
	defer fileHeader.Close()
	scanner := bufio.NewScanner(fileHeader)
	for scanner.Scan() {
		line := scanner.Text()
		fmt.Println(line)
	}
}