第十课 go语言基础-文件操作、json序列化、单元测试

第十课 go语言基础-文件操作、json序列化、单元测试

tags:

• golang
• 2019尚硅谷

categories:

• 文件操作
• json序列化
• 反序列化
• 单元测试

第一节 文件操作

1.1 文件的基本介绍

1. 文件,对我们并不陌生，文件是数据源(保存数据的地方)的一种,比如大家经常使用的word文档,txt文件,excel文件…都是文件。文件最主要的作用就是保存数据，它既可以保存一张图片，也可以保持视频，声音…
2. 文件在程序中是以流的形式来操作的。
   • 流:数据在数据源(文件)和程序(内存)之间经历的路径
   • 输入流:数据从数据源(文件)到程序(内存)的路径(读文件)
   • 输出流:数据从程序(内存)到数据源(文件)的路径(写文件)
     
3. Golang中有一个包，os. File封装所有文件相关操作，File 是一个结构体。它绑定一些文件操作的方法。
   
   注意：后面我们操作文件，会经常使用到os.File 结构体

1.2 打开文件和关闭文件

1. 使用的函数和方法 os.Open. 返回是file机构体的指针类型(文件句柄)
   
2. 关闭文件。os.Close()

package main
import (
	"fmt"
	"os"
)

func main(){
	// 打开一个文件
	// file对象 或 file指针 或 file文件句柄
	file, err := os.Open("d:/test.txt")
	if err != nil{
		fmt.Printf("打开文件出错:%v", err)
	}
	// 打开成功 我们看一下 file是什么
	fmt.Printf("file的内容:\n %v", file)
	// 关闭文件 标准方法
	err = file.Close()
	if err != nil{
		fmt.Printf("关闭文件出错:%v", err)
	}
}

1.3 读取文件显示

1. 读取文件的内容并显示在终端(带缓冲区的方式)，使用下面函数和方法
   • os.Open, file.Close
   • bufio.NewReader)
   • reader. ReadString

package main
import (
	"fmt"
	"os"
	"bufio"
	"io"
)

func main(){
	file, err := os.Open("d:/test.txt")
	if err != nil{
		fmt.Printf("打开文件出错:%v", err)
	}
	// 当函数退出时及时关闭file
	defer file.Close() // 否则会有内存泄露

	// 创建一个Reader 这里是带缓冲的 默认的缓冲大小为4096字节
	// 可以处理比较大的文件
	reader := bufio.NewReader(file)
	// 循环读取文件的内容
	for {
		str, err := reader.ReadString('\n') // 一次读到换行结束
		if err == io.EOF{ //io.EOF 文件末尾
			break
		}
		//输出内容
		fmt.Print(str)
	}
	fmt.Println("文件读取结束。。。")
}

2. 读取文件的内容并显示在终端( 一次将整个文件读入到内存中),这种方式适用于文件不大的情况。相关方法和函数
   • ioutil. ReadFile 返回[]byte 通过string()转一下正确显示内容
   • 没有显式的open文件，因此也不需要显式的close文件.文件的Open和Close被封装到ReadFile函数内部。不用我们手动关闭

package main
import (
	"fmt"
	"io/ioutil"
)

func main(){
	//使用ioutil.ReadFile一次性将文件读取到位 返回byte切片
	file := "d:/test.txt"
	content, err := ioutil.ReadFile(file)
	if err!=nil{
		fmt.Printf("read file err=%v", err) 
	}
	//把读取到的内容显示到终端
	//fmt.Printf("%v", content) // []byte 
	fmt.Printf( "%v", string(content)) // []byte
	//我们没有显式的open文件，因此也不需要显式的close文件
	//因为，文件的Open和Close被封装到ReadFile 函数内部
}

1.4 写入文件操作

1. os.OpenFile函数. FIleMode主要在liunx上生效，windows不生效。
   
2. 说明: os.OpenFile是一个更一般性的文件打开函数，它会使用指定的选项(如O_RDONLY等)、指定的模式(如0666等)打开指定名称的文件。如果操作成功，返回的文件对象可用于I/O。如果出错，错误底层类型是PathError.
3. 新建文件写入内容。os.O_WRONLY|os.O_CREATE

package main

import (
	"fmt"
	"bufio"
	"os"
)

func main(){
	// 创建一个新文件,写入内容5句"hello, QnHyn"
	// 1.打开文件d:/abc.txt
	filePath := "d:/abc.txt"
	file, err := os.OpenFile(filePath, os.O_WRONLY|os.O_CREATE, 0666)
	if err!=nil{
		fmt.Printf("open file err=%v\n", err)
		return
	}
	//及时关闭file句柄
	defer file.Close()
	//准备写入5句"hello, Gardon
	str := "hello, QnHyn\n" // \n表示换行
	//写入时，使用带缓存的*Writer
	writer := bufio.NewWriter(file)
	for i:=0;i<5;i++{
		writer.WriteString(str)
	}
	//因为writer是带缓存，因此在调用writerstring方法时，其实
	//内容是先写入到缓存的，所以需要调用Flush方法,将缓冲的数据真正写入到文件中，
	//否则文件中会 没有数据!!! 
	writer.Flush()
}

4. 打开一个存在的文件中，将原来的内容覆盖成新的内容。os.O_WRONLY|os.O_TRUNC
5. 打开一个存在的文件，在原来的内容追加内容。 os.O_WRONLY|os.O_APPEND
6. 打开一个存在的文件， 将原来的内容读出显示在终端。并且追加。os.O_RDWR|os.O_APPEND

package main

import (
	"fmt"
	"bufio"
	"os"
	"io"
)

func main(){
	filePath := "d:/abc.txt"
	// os.O_RDWR 读写方式打开
	file, err := os.OpenFile(filePath, os.O_RDWR|os.O_APPEND, 0666)
	if err!=nil{
		fmt.Printf("open file err=%v\n", err)
		return
	}
	//及时关闭file句柄
	defer file.Close()
	reader := bufio.NewReader(file)
	// 循环读取文件的内容
	for {
		str, err := reader.ReadString('\n') // 一次读到换行结束
		if err == io.EOF{ //io.EOF 文件末尾
			break
		}
		//输出内容
		fmt.Print(str)
	}
	//准备写入5句"hello, 追加一些内容"
	str := "hello, 追加一些内容\n" // \n表示换行
	//写入时，使用带缓存的*Writer
	writer := bufio.NewWriter(file)
	for i:=0;i<5;i++{
		writer.WriteString(str)
	}
	//因为writer是带缓存，因此在调用writerstring方法时，其实
	//内容是先写入到缓存的，所以需要调用Flush方法,将缓冲的数据真正写入到文件中，
	//否则文件中会 没有数据!!! 
	writer.Flush()
}

7. 两个已经存在的文件，将一个文件的内容，写入到另外一个文件。使用ioutil. ReadFile / ioutil.WriteFile完成写文件的任务.(一次性不需要显性打开关闭)

package main

import (
	"fmt"
	"io/ioutil"
)

func main(){
	//将d:/abc.txt文件内容导入到e:/kkk.txt
	//1.首先将d:/abc.txt 内容读取到内存
	//2.将读取到的内容写入e:/kkk. txt
	file1Path := "d:/abc.txt"
	file2Path := "e:/kkk.txt"
	data, err := ioutil.ReadFile(file1Path)
	if err!=nil{
		fmt.Printf("读取文件=%v\n", err)
		return
	}
	err = ioutil.WriteFile(file2Path, data, 0666)
	if err!=nil{
		fmt.Printf("写入文件=%v\n", err)
		return
	}
}

1.5 判断文件是否存在

1. golang判断文件或文件夹是否存在的方法为使用os.Stat()函数返回的错误值进行判断:
   • 如果返回的错误为nil,说明文件或文件夹存在
   • 如果返回的错误类型使用os.IsNotExist()判断为true,说明文件或文件夹不存在
   • 如果返回的错误为其它类型,则不确定是否在存在

func PathExists(path string) (bool, error) {
	_, err := os.Stat(path)
	if err== nil {//文件或者目录存在
		return true, nil
	}
	if os.IsNotExist(err) {
		return false, nil
	}
	return false, err
}

1.6 拷贝文件Copy

1. 将一张图片/电影/mp3拷贝到另外一个文件e:/abc.jpg
2. io包中Copy函数

package main

import (
	"fmt"
	"os"
	"io"
)

//自己编写一个函数，接收两个文件路径srcFileName dstFileName
func CopyFile(dstFileName string, srcFileName string) (written int64, err error) {
	srcFile, err := os.Open(srcFileName)
	if err != nil{
		fmt.Printf("打开源文件错误:%v", err)
		return
	}
	defer srcFile.Close()
	//通过srcfile, 获取到Reader
	//打开dstFileName
	dstFile, err := os.OpenFile(dstFileName, os.O_WRONLY|os.O_CREATE, 0666)
	if err != nil{
		fmt.Printf("打开目标文件错误:%v", err)
		return
	}

	//通过dstFile,获取到Writer
	defer dstFile.Close()
	return io.Copy(dstFile, srcFile)
}

func main(){
	//将d:/flower.jpg文件拷贝到e:/abc.jpg
	//调用CopyFile完成文件拷贝
	srcFile := "E:/flower.jpg"
	dstFile := "F:/abc.jpg"
	_, err := CopyFile(dstFile, srcFile)
	if err != nil{
		fmt.Printf("复制错误:%v", err)
	}else{
		fmt.Printf("复制完成")
	}
}

1.7 统计英文、数字、空格和其他字符数量

package main

import (
	"fmt"
	"os"
	"io"
	"bufio"
)

//定义一个结构体，用于保存统计结果
type CharCount struct{
	ChCount int //记录英文个数
	NumCount int  //记录数字的个数
	SpaceCount int //记录空格的个数
	OtherCount int //记录其它字符的个数
}

func main(){
	//思路:打开一个文件,创一个Reader
	//每读取一行，就去统计该行有多少个英文、数字、空格和其他字符
	//然后将结果保存到一个结构体
	fileName := "d:/abc.txt"
	file, err := os.Open(fileName)
	if err != nil{
		fmt.Printf("打开文件错误%v", err)
		return
	}
	defer file.Close()
	//定义个CharCount 实例
	var count CharCount
	//创建一个Reader
	reader := bufio.NewReader(file)
	for {
		str, err := reader.ReadString('\n')
		if err == io.EOF{ //读到文件末尾就退出
			break
		}
		//为了兼容中文字符,可以将str 转成[]rune
		//str1 := []rune(str)
		//遍历str，进行统计
		for _, v := range str{
			switch{
				case v >= 'a' && v <='z':
					fallthrough // 穿透
				case v >= 'A' && v <= 'Z':
					count.ChCount += 1
				case v == ' ' || v == '\t':
					count.SpaceCount++
				case v >='0' && v <= '9':
					count.NumCount++
				default :
					count.OtherCount++
			}
		}
	}
	//输出统计的结果看看是否正确.
	fmt.Printf("字符的个数为=%v数字的个数为=%v空格的个数为=%v其它字符个数=%v",
	count.ChCount, count.NumCount, count.SpaceCount, count.OtherCount)
}

第二节 命令参数和序列化

2.1 命令行参数

1. 获取到命令行输入的各种参数。os.Args是一个string的切片，用来存储所有的命令行参数。

package main

import (
	"fmt"
	"os"
)

// 运行go run main.go qnhyn 66 aini
func main(){
	fmt.Println("命令行参数有:", len(os.Args))
	for i, v := range os.Args{
		fmt.Printf("Args[%v]=%v\n", i, v)
	}
}

2. flag 包用来解析命令行参数。
   • 说明:前面的方式是比较原生的方式，对解析参数不是特别的方便，特别是带有指定参数形式的命令行。
   • 比如: cmd>main.exe -f c:/aaa.txt -p 200 -u root这样的形式命令行，go 设计者给我们提供了flag包，可以方便的解析命令行参数，而且参数顺序可以随意
   • 转换，必须调用该方法 flag.Parse()

package main

import (
	"fmt"
	"flag"
)

func main(){
	//定义几个变量，用于接收命令行的参数值
	var user string
	var pwd string
	var host string
	var port int

	//&user就是接收用户命令行中输入的-u后面的参数值
	//"u" ,就是-u 指定参数
	//"",默认值
	//"用户名，默认为空"说明
	flag.StringVar(&user, "u", "" ,"用户名，默认为空")
	flag.StringVar(&pwd, "pwd", "", "密码,默认为空")
	flag.StringVar(&host, "h", "localhost", "主机名，默认为localhost")
	flag.IntVar(&port, "port", 3306, "端口号，默认为3306")
	//这里有一个非常重要的操作，转换，必须调用该方法 
	flag.Parse()
	//输出结果 go run main.go  -u root -pwd "123456" -h "127.0.0.1" -port 88
	fmt.Printf("user=%v pwd=%v host=%v port=%v",
	user, pwd, host, port )
}

2.2 JSON序列化

1. JSON(JavaScript Object Notation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。key-val，目前已经成为主流的数据格式
2. JSON易于机器解析和生成，并有效地提升网络传输效率,通常程序在网络传输时会先将数据(结构体、map等)序列化成json字符串，到接收方得到json字符串时，在反序列化恢复成原来的数据类型(结构体、map等)。这种方式已然成为各个语言的标准。
   
3. json数据在线解析 ： https://www.json.cn/
4. json序列化是指，将有key-value结构的数据类型(比如结构体、map、切片)序列化成json字符串的操作。
5. 对于结构体的序列化，如果我们希望序列化后的key的名字，又我们自己重新制定,那么可以给struct指定一个tag标签.

package main

import (
	"fmt"
	"encoding/json"
)

type Monster struct{
	Name string `json:"monster_name"`
	Age int `json:"monster_age"`
	Birthday string
	Sal float64
	Skill string
}

// 结构体序列化
func testStruct(){
	monster := Monster{
		Name :"牛魔王",
		Age : 500,
		Birthday : "2011-11-11",
		Sal : 8000.0,
		Skill : "牛魔拳",
	}
	// 将monster序列化
	data, err := json.Marshal(&monster)
	if err != nil{
		fmt.Printf("序列化失败:%v\n", err)
	}
	fmt.Printf("机构体monster序列化后结果:%v\n", string(data))
}

//将map进行序列化
func testMap(){
	//定义一个map
	var a map[string]interface{}
	//使用map,需要make
	a = make(map[string]interface{})
	a["name"]= "红孩儿"
	a["age"]= 30
	a["address"] = "洪崖洞"
	// 将Map序列化
	data, err := json.Marshal(a)
	if err != nil{
		fmt.Printf("序列化失败:%v\n", err)
	}
	fmt.Printf("Map a序列化后结果:%v\n", string(data))
}

//演示对切片进行序列化,我们这个切片[]map[string]interface{}
func testSlice(){
	var slice []map[string]interface{}
	var m1 map[string]interface{}
	m1 = make(map[string]interface{})
	//使用map前，需要先make
	m1["name"] = "jack"
	m1["age"] = "7"
	m1["address"] = "北京"
	slice = append(slice, m1)

	var m2 map[string]interface{}
	//使用map前, 需要先make
	m2 = make(map[string]interface{})
	m2["name"] = "tom"
	m2["age"]= "20"
	m2["address"] = [2]string{"墨西哥","夏威夷"}
	slice = append(slice, m2)

	// 将切片序列化
	data, err := json.Marshal(slice)
	if err != nil{
		fmt.Printf("序列化失败:%v\n", err)
	}
	fmt.Printf("Slice序列化后结果:%v\n", string(data))
}

//对基本数据类型序列化，对基本数据类型进行序列化意义不大
func testFloat64(){
	var numl float64 = 2345.67
	//对numl进行序列化
	data, err := json.Marshal(numl)
	if err != nil{
		fmt.Printf("序列化失败:%v\n", err)
	}
	fmt.Printf("float64序列化后结果:%v\n", string(data))
}


func main(){
	testStruct()
	testMap()
	testSlice()
	testFloat64()
}

2.3 JSON反序列化

1. json反序列化是指，将json字符串反序列化成对应的数据类型(比如结构体、map、切片)的操作
2. 在反序列化一个json字符串时,要确保反序列化后的数据类型和原来序列化前的数据类型一致。如果json字符串是通过程序获取到的，则不需要再对“转义处理。

package main

import (
	"fmt"
	"encoding/json"
)

type Monster struct{
	Name string `json:"monster_name"`
	Age int `json:"monster_age"`
	Birthday string
	Sal float64
	Skill string
}

// 结构体反序列化
func unmarshalStruct(){
	// 说明str在项目开发中，是通过网络传输获取到..或者是读取文件获取到
	str := "{\"monster_name\":\"牛魔王\",\"monster_age\":500,\"Birthday\":\"2011-11-11\",\"Sal\":8000,\"Skill\":\"牛魔拳\"}"
	var monster Monster
	err := json.Unmarshal([]byte(str), &monster)
	if err != nil{
		fmt.Printf("反序列化失败:%v\n", err)
	}
	fmt.Printf("反序列化后monster=%v monster.Name=%v\n", monster, monster.Name)
}

//将map进行反序列化
func unmarshalMap(){
	str := "{\"address\":\"洪崖洞\",\"age\":30,\"name\":\"红孩儿\"}"
	//定义一个map
	var a map[string]interface{}
	//注意:反序列化map,不需要make,因为make操作被封装到Unmarshal函数
	err := json.Unmarshal([]byte(str), &a)
	if err != nil{
		fmt.Printf("反序列化失败:%v\n", err)
	}
	fmt.Printf("反序列化后a=%v\n", a)
}

//演示对切片进行反序列化,我们这个切片[]map[string]interface{}
func unmarshalSlice(){
	str := "[{\"address\":\"北京\",\"age\":\"7\",\"name\":\"jack\"}," +
			"{\"address\":[\"墨西哥\",\"夏威夷\"],\"age\":\"20\",\"name\":\"tom\"}]"
	var slice []map[string]interface{}
	//反序列化，不需要make,因为make操作被封装到Unmarshal函数
	err := json.Unmarshal([]byte(str), &slice)
	if err != nil{
		fmt.Printf("反序列化失败:%v\n", err)
	}
	fmt.Printf("反序列化后a=%v\n", slice)
}

func main(){
	unmarshalStruct()
	unmarshalMap()
	unmarshalSlice()
}

第三节 单元测试

3.1 传统的方式测试

1. 传统的方式来进行测试。在main函数中，调用addUpper函数，看看实际输出的结果是否和预期的结果一致，如果一致，则说明函数正确，否则函数有错误，然后修改错误。
2. 传统方法的缺点分析
   • 不方便,我们需要在main函数中去调用，这样就需要去修改main函数，如果现在项目正在运行，就可能去停止项目。

• 不利于管理，因为当我们测试多个函数或者多个模块时，都需要写在main函数，不利于我们管理和清晰我们思路
  • 引出单元测试。->testing测试框架可以很好解决问题。

package main

import (
	"fmt"
)

// 一个被测试的函数
func addUpper(n int) int{
	res := 0
	for i:=0; i <= n; i++{
		res += i
	}
	return res
}
func main(){
	//传统的测试方法，就是在main函数中使用看看结果是否正确
	res := addUpper(10) // 1.+ 10 = 55
	if res != 55{
		fmt.Printf("addupper错误返回值=%v期望值=%v\n", res, 55)
	}else{
		fmt.Printf("addupper正确返回值=%v期望值=%v\n", res, 55)
	}
}

3.2 单元测试框架-testing

1. Go语言中自带有一个轻量级的测试框架testing和自带的gotest命令来实现单元测试和性能测试，testing框架和其他语言中的测试框架类似，可以基于这个框架写针对相应函数的测试用例，也可以基于该框架写相应的压力测试用例。
   • 确保每个函数是可运行，并且运行结果是正确的
   • 确保写出来的代码性能(时间)是好的，
   • 单元测试能及时的发现程序设计或实现的逻辑错误，使问题及早暴露，便于问题的定位解决，而性能测试的重点在于发现程序设计上的一些问题，让程序能够在高并发的情况下还能保持稳定.
2. 使用Go的单元测试，对addUpper函数进行测试。
   

package main

import (
	"testing"
)

// cal_test.go cal.go中有addUpper函数
// 编写测试用例, 测试addUpper是否正确
func TestAddUpper(t *testing.T){
	res := addUpper(10) // 1.+ 10 = 55
	if res != 55{
		t.Fatalf("addupper错误返回值=%v期望值=%v\n", res, 55)
	}
	t.Logf("addupper正确返回值=%v期望值=%v\n", res, 55)
}

3. 测试用例文件名必须以 _test.go 结尾。 比如cal_test.go , cal 不是固定的。
4. 测试用例函数必须以Test开头，一般来说就是Test+被测试的函数名，比如TestAddUpper
5. TestAddUpper(t tesing.T)的形参类型必须是testing.T
6. 一个测试用例文件中，可以有多个测试用例函数，比如TestAddUpper、TestSub
   
7. 运行测试用例指令
   • (1) cmd> go test [如果运行正确， 无日志，错误时，会输出日志]
   • (2) cmd> go test -v [运 行正确或是错误，都输出日志]
8. 当出现错误时，可以使用t.Fatalf来格式化输出错误信息，并退出程序
9. t.Logf方法可以输出相应的日志
10. 测试用例函数，并没有放在main函数中，也执行了，这就是测试用例的方便之处.
11. PASS表示测试用例运行成功，FAIL表示测试用例运行失败
12. 测试单个文件，一定要带上被测试的原文件
    • go test -v cal_test.go cal.go
13. 测试单个方法(函数)
    • go test -v -test.run TestAddUpper

3.3 单元综合案例

1. 编写一个Monster结构体,字段Name, Age, Skill
2. 给Monster绑定方法Store,可以将一个Monster变量(对象),序列化后保存到文件中
3. 给Monster绑定方法ReStore,可以将一个序列化的Monster,从文件中该取，并反序列化为Monster对象检查反序列化，名字正确
4. 编程测试用例文件store_test.go ,编写测试用例函数TestStore和TestRestore进行测试。

// monster_test.go
package monster

import (
	"testing"
)


func TestStore(t *testing.T){
	//先创建-一个Monster 实例
	monster := &Monster{
		Name : "红孩儿",
		Age :10,
		Skill : "吐火",
	}
	res := monster.Store()
	if !res{
		t.Fatalf("monster.Store()错误，希望为=%v实际为=%v", true, res)
	}
	t.Logf("monster.Store()测试成功!")
}

func TestReStore(t *testing.T){
	//测试数据是很多，测试很多次，才确定函数，模块.
	//先创建一个Monster 实例，不需要指定字段的值
	var monster = &Monster{}
	res := monster.ReStore()
	if !res{
		t.Fatalf("monster.ReStore()错误，希望为=%v实际为=%v", true, res)
	}
	//进一步判断
	if monster.Name != "红孩儿" {
		t.Fatalf("monster.ReStore()错误，希望为=%v实际为=%v", "红孩儿", monster.Name)
	}
	t.Logf("monster.Store()测试成功!")
}

// monster.go
package monster

import (
	"encoding/json"
	"io/ioutil"
	"fmt"
)

type Monster struct{
	Name string
	Age int
	Skill string
}

//给Monster绑定方法Store,可以将一个Monster变量(对象),序列化后保存到文件中
func (this *Monster) Store() bool{
	//先序列化
	data, err := json.Marshal(this)
	if err != nil {
		fmt.Println("marshal err =", err)
		return false
	}
	//保存到文件.
	filePath := "d:/monster.ser"
	err = ioutil.WriteFile(filePath, data, 0666)
	if err!=nil {
		fmt.Println("write file err =", err)
		return false
	}
	return true
}

//给Monster绑定方法ReStore,可以将一个序列化的Monster,从文件中读取，
//并反序列化为Monster对象检查反序列化, 名字正确
func (this *Monster) ReStore() bool {
	//1. 先从文件中，读取序列化的字符串
	filePath := "d:/monster.ser"
	data, err := ioutil.ReadFile(filePath)
	if err != nil {
		fmt. Println("Reader file err =", err)
		return false
	}
	//2.使用读取到data []byte ,对反序列化
	err = json.Unmarshal(data, this)
	if err != nil {
		fmt.Println("Unmarshal err =", err)
		return false
	}
	return true
}