Golang断点续传


前言

对于一些较大文件的上传下载,我们期望的是能够一次就完成,这样不仅节省时间也节省用户流量,用户体验也会更好等等。但是网络环境的不可靠性导致较大文件的传输一次就完成的把握实在不是很大,所以针对这种情况,人们就考虑能否让失败的任务在下次继续时接着传输未传输的部分,而已经传输过的则不再传输,由此,断点续传被创造出来了。


一、Seek介绍

Golang中的断点续传实现最简便的方法是借助Seek方法:

type Seeker interface {
	Seek(offset int64, whence int) (int64, error)
}

在断点续传中我们使用file类去读取写入文件,因为file实现了Seeker接口,通过它我们可以很方便的实现我们想要的功能。

Seek有两个参数:
1.offset 偏移量
2.whence 决定偏移量从什么地方开始
2.1 SeekStart 从头开始
2.2 SeekCurrent 从当前开始
2.3 SeekEnd 从末尾开始

二、Seek的使用

D盘中的测试文件

根据D:\test.txt文件来测试Seek函数中whence参数的作用:

1.SeekStart

代码如下:

fileName := "D:\\test.txt"
file,_ := os.OpenFile(fileName,os.O_CREATE,os.ModePerm)
b := []byte{0}
file.Seek(2,io.SeekStart)
file.Read(b)
fmt.Println(string(b))

结果:

C

解释:由于SeekStart是表示offset是从头开始,所以这里从头开始偏移两位,得到第三位的数据:C

2.SeekCurrent

代码如下:

fileName := "D:\\test.txt"
file,_ := os.OpenFile(fileName,os.O_CREATE,os.ModePerm)
b := []byte{0}
file.Read(b)
file.Seek(2,io.SeekCurrent)
file.Read(b)
fmt.Println(string(b))

结果:

D

解释:由于SeekCurrent是从当前位置开始,所以当前面已经读取过一个byte之后,再偏移两位,总共偏移三位,所以得到第四位:D

3.SeekEnd

代码如下:

fileName := "D:\\test.txt"
file,_ := os.OpenFile(fileName,os.O_CREATE,os.ModePerm)
file.Seek(0,io.SeekEnd)
file.WriteString("a")

结果:

解释:由于SeekEnd是表示从末尾开始,所以写入的 a 被添加到最后。

三、断点续传

仍然使用上面的test.txt文本来进行断点续传的操作。

func duanDian() {
	fileName := "D:\\test.txt" //源文件
	destFile := "D:\\dest.txt" //下载的目标文件
	tempFile := "D:\\temp.txt" //临时文件(用来记录下载过的字节数)
	file,err := os.OpenFile(fileName,os.O_CREATE,os.ModePerm)
	dest, _ := os.OpenFile(destFile,os.O_CREATE|os.O_WRONLY,os.ModePerm)
	temp,_ := os.OpenFile(tempFile,os.O_CREATE|os.O_RDWR,os.ModePerm)
	defer file.Close()
	defer dest.Close()
	defer temp.Close()
	//首先读取临时文件中保存的已经下载过的数量
	temp.Seek(0,io.SeekStart)
	bs := make([]byte,100)
	n1,_ := temp.Read(bs)//读取临时文件中保存的字节数
	countStr := string(bs[:n1])
	//转换成int型
	count,_ := strconv.ParseInt(countStr,10,64)
	//得到已经下载过的进度之后同步源文件跟目标文件
	//偏移量为已经下载过的,我们需要继续下载的是剩下的
	file.Seek(count,io.SeekStart)
	dest.Seek(count,io.SeekStart)
	//定义一个byte切片,大小设置为1,因为我们的测试案例只有几个单词
	data := make([]byte,1)
	//设置变量来记录读取写入的字节数
	n2,n3 := -1,-1
	//已经写入的字节总数,用来存放到temp文件
	total := int(count)

	for {
		//开始读取源文件内容
		n2,err = file.Read(data)
		if err == io.EOF {
			fmt.Println("文件复制完毕!")
			temp.Close()
			//下载完成之后删除临时文件
			err = os.Remove(tempFile)
			if err != nil {
				panic(err)
			}
			break
		}
		//读取之后写入目标文件
		n3,_ = dest.Write(data[:n2])
		//更新写入的总数
		total += n3
		temp.Seek(0,io.SeekStart)
		temp.WriteString(strconv.Itoa(total))
		//这里可以测试网络中断造成的下载异常,
		//注释之后重新运行将会从失败的地方重新下载
		//if total == 2 {
		//	 panic("网络异常,下载失败!")
		//}
	}
}
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值