gohttp断点续传文件服务器,go文件断点续传功能

go断点续传功能

断点续传功能,减少服务器文件重复存储. 提升上传响应速度

使用两种思路进行续传功能

注意: 文件使用文件名称进行唯一文件进行判断, 不具有文件唯一性.如果使用于生产环境. 需要处理文件上传文件名称问题

思路1:

思路1: 使用零时文件记录中断位置.

1.文件上传时,先创建上传一个新的文件

2.创建记录中断位置的临时文件

3.设置文件读写偏移量

4.上传完成后,删除临时文件

func upload1(r *http.Request) (int,error) {

// 获取上传文件

upfile, fileHeader, err := r.FormFile("file")

if err != nil {

return 0, errors.New("上传文件错误")

}

headerByte, _ := json.Marshal(fileHeader.Header)

log.Printf("当前文件：Filename - >{%s}, Size -> {%v}, FileHeader -> {%s}", fileHeader.Filename, fileHeader.Size, string(headerByte))

// 新文件创建

filePath := "./" + fileHeader.Filename

fileBool, err := isFileExists(filePath)

if fileBool && err == nil {

fmt.Println("文件已存在")

} else {

newfile, err := os.Create(filePath)

defer newfile.Close()

if err != nil {

return 0, errors.New("创建文件失败")

}

}

// 上传文件开始位置

start := "0"

// 查询本地是否有断点记录

var breakPointFile *os.File

breakPointFilePath := filePath + ".txt"

breakPointFileBool, err := isFileExists(breakPointFilePath)

// 如果文件存在 但断点记录不存在 则文件已上传

if fileBool && !breakPointFileBool {

return 0, errors.New("文件已存在, 不继续上传")

}

//fmt.Println("断点文件检测:", breakPointFileBool,err)

if breakPointFileBool && err == nil {

// 读取断点位置

breakPointFile, err = os.OpenFile(breakPointFilePath,os.O_CREATE|os.O_RDWR,os.ModePerm)

defer breakPointFile.Close()

if err != nil {

return 0, errors.New("断点文件打开失败")

}

res, _ := ioutil.ReadAll(breakPointFile)

fmt.Println("断点文件写入字段长度:",string(res))

start = string(res)

} else {

// 创建断点文件

breakPointFile ,err = os.Create(breakPointFilePath)

defer breakPointFile.Close()

if err != nil {

return 0, errors.New("断点文件创建失败")

}

len, err := breakPointFile.WriteString("0")

if len <= 0 || err != nil {

return 0, errors.New("断点文件写入失败")

}

fmt.Println("断点文件创建成功")

}

// 进行断点上传

// 打开之前上传文件

file, err := os.OpenFile(filePath,os.O_CREATE|os.O_WRONLY,os.ModePerm)

defer file.Close()

if err != nil {

return 0, errors.New("打开之前上传文件不存在")

}

// 将数据写入文件

count,_:=strconv.ParseInt(start,10,64)

fmt.Println("已上传:",count)

// 设置读，写的偏移量

upfile.Seek(count,0)

file.Seek(count,0)

data:=make([]byte,1024,1024)

upTotal := 0

for {

total, err := upfile.Read(data)

if err == io.EOF{

// 删除文件 需要先关闭改文件

breakPointFile.Close()

err := os.Remove(breakPointFilePath)

if err != nil {

fmt.Println("临时记录文件删除失败", err)

}

fmt.Println("文件复制完毕")

break

}

len, err := file.Write(data[:total])

if err != nil {

return 0, errors.New("文件上传失败")

}

upTotal += len

// 记录上传长度

count += int64(len)

breakPointFile.Seek(0, 0)

breakPointFile.WriteString(strconv.Itoa(int(count)))

// 模拟断开

//if count > 4438903 {

// log.Fatal("模拟上传中断")

//}

}

fmt.Println("文件上传长度:", upTotal)

return upTotal, nil

}

思路2:

使用获取上传文件大小进行判断

1.文件上传时,先创建上传一个新的文件

2.判断已上传的文件和正在上传的文件的文件大小进行判断

3.设置文件读写偏移量

func upload2(r *http.Request) (int,error) {

// 获取上传文件

upfile, fileHeader, err := r.FormFile("file")

if err != nil {

return 0, errors.New("上传文件错误")

}

headerByte, _ := json.Marshal(fileHeader.Header)

log.Printf("当前文件：Filename - >{%s}, Size -> {%v}, FileHeader -> {%s}", fileHeader.Filename, fileHeader.Size, string(headerByte))

// 新文件创建

filePath := "./" + fileHeader.Filename

fileBool, err := isFileExists(filePath)

if fileBool && err == nil {

fmt.Println("文件已存在")

} else {

newfile, err := os.Create(filePath)

defer newfile.Close()

if err != nil {

return 0, errors.New("创建文件失败")

}

}

// 获取现在文件大小

fi, _ := os.Stat(filePath)

// 判断文件是否传输完成

if fi.Size() == fileHeader.Size {

return 0, errors.New("文件已存在, 不继续上传")

}

start := strconv.Itoa(int(fi.Size()))

// 进行断点上传

// 打开之前上传文件

file, err := os.OpenFile(filePath,os.O_CREATE|os.O_WRONLY,os.ModePerm)

defer file.Close()

if err != nil {

return 0, errors.New("打开之前上传文件不存在")

}

// 将数据写入文件

count,_:=strconv.ParseInt(start,10,64)

fmt.Println("已上传:",count)

// 设置读，写的偏移量

upfile.Seek(count,0)

file.Seek(count,0)

data:=make([]byte,1024,1024)

upTotal := 0

for {

total, err := upfile.Read(data)

if err == io.EOF{

fmt.Println("文件复制完毕")

break

}

len, err := file.Write(data[:total])

if err != nil {

return 0, errors.New("文件上传失败")

}

upTotal += len

// 记录上传长度

count += int64(len)

// 模拟断开

//if count > 4438903 {

// log.Fatal("模拟上传中断")

//}

}

fmt.Println("文件上传长度:", upTotal)

return upTotal, nil

}

完整代码:

package main

import (

"encoding/json"

"errors"

"fmt"

"io"

"io/ioutil"

"log"

"net/http"

"os"

"strconv"

)

func main() {

server()

}

// 上传

func upload(w http.ResponseWriter, r *http.Request) {

res, err := upload2(r)

if err != nil {

_, _ = w.Write([]byte(err.Error()))

} else {

// 保存上传节点

_, _ = w.Write([]byte("上传成功:" + strconv.Itoa(res)))

}

}

func upload2(r *http.Request) (int,error) {

// 获取上传文件

upfile, fileHeader, err := r.FormFile("file")

if err != nil {

return 0, errors.New("上传文件错误")

}

headerByte, _ := json.Marshal(fileHeader.Header)

log.Printf("当前文件：Filename - >{%s}, Size -> {%v}, FileHeader -> {%s}", fileHeader.Filename, fileHeader.Size, string(headerByte))

// 新文件创建

filePath := "./" + fileHeader.Filename

fileBool, err := isFileExists(filePath)

if fileBool && err == nil {

fmt.Println("文件已存在")

} else {

newfile, err := os.Create(filePath)

defer newfile.Close()

if err != nil {

return 0, errors.New("创建文件失败")

}

}

// 获取现在文件大小

fi, _ := os.Stat(filePath)

// 判断文件是否传输完成

if fi.Size() == fileHeader.Size {

return 0, errors.New("文件已存在, 不继续上传")

}

start := strconv.Itoa(int(fi.Size()))

// 进行断点上传

// 打开之前上传文件

file, err := os.OpenFile(filePath,os.O_CREATE|os.O_WRONLY,os.ModePerm)

defer file.Close()

if err != nil {

return 0, errors.New("打开之前上传文件不存在")

}

// 将数据写入文件

count,_:=strconv.ParseInt(start,10,64)

fmt.Println("已上传:",count)

// 设置读，写的偏移量

upfile.Seek(count,0)

file.Seek(count,0)

data:=make([]byte,1024,1024)

upTotal := 0

for {

total, err := upfile.Read(data)

if err == io.EOF{

fmt.Println("文件复制完毕")

break

}

len, err := file.Write(data[:total])

if err != nil {

return 0, errors.New("文件上传失败")

}

upTotal += len

// 记录上传长度

count += int64(len)

// 模拟断开

//if count > 4438903 {

// log.Fatal("模拟上传中断")

//}

}

fmt.Println("文件上传长度:", upTotal)

return upTotal, nil

}

// 上传方法1

func upload1(r *http.Request) (int,error) {

// 获取上传文件

upfile, fileHeader, err := r.FormFile("file")

if err != nil {

return 0, errors.New("上传文件错误")

}

headerByte, _ := json.Marshal(fileHeader.Header)

log.Printf("当前文件：Filename - >{%s}, Size -> {%v}, FileHeader -> {%s}", fileHeader.Filename, fileHeader.Size, string(headerByte))

// 新文件创建

filePath := "./" + fileHeader.Filename

fileBool, err := isFileExists(filePath)

if fileBool && err == nil {

fmt.Println("文件已存在")

} else {

newfile, err := os.Create(filePath)

defer newfile.Close()

if err != nil {

return 0, errors.New("创建文件失败")

}

}

// 上传文件开始位置

start := "0"

// 查询本地是否有断点记录

var breakPointFile *os.File

breakPointFilePath := filePath + ".txt"

breakPointFileBool, err := isFileExists(breakPointFilePath)

// 如果文件存在 但断点记录不存在 则文件已上传

if fileBool && !breakPointFileBool {

return 0, errors.New("文件已存在, 不继续上传")

}

//fmt.Println("断点文件检测:", breakPointFileBool,err)

if breakPointFileBool && err == nil {

// 读取断点位置

breakPointFile, err = os.OpenFile(breakPointFilePath,os.O_CREATE|os.O_RDWR,os.ModePerm)

defer breakPointFile.Close()

if err != nil {

return 0, errors.New("断点文件打开失败")

}

res, _ := ioutil.ReadAll(breakPointFile)

fmt.Println("断点文件写入字段长度:",string(res))

start = string(res)

} else {

// 创建断点文件

breakPointFile ,err = os.Create(breakPointFilePath)

defer breakPointFile.Close()

if err != nil {

return 0, errors.New("断点文件创建失败")

}

len, err := breakPointFile.WriteString("0")

if len <= 0 || err != nil {

return 0, errors.New("断点文件写入失败")

}

fmt.Println("断点文件创建成功")

}

// 进行断点上传

// 打开之前上传文件

file, err := os.OpenFile(filePath,os.O_CREATE|os.O_WRONLY,os.ModePerm)

defer file.Close()

if err != nil {

return 0, errors.New("打开之前上传文件不存在")

}

// 将数据写入文件

count,_:=strconv.ParseInt(start,10,64)

fmt.Println("已上传:",count)

// 设置读，写的偏移量

upfile.Seek(count,0)

file.Seek(count,0)

data:=make([]byte,1024,1024)

upTotal := 0

for {

total, err := upfile.Read(data)

if err == io.EOF{

// 删除文件 需要先关闭改文件

breakPointFile.Close()

err := os.Remove(breakPointFilePath)

if err != nil {

fmt.Println("临时记录文件删除失败", err)

}

fmt.Println("文件复制完毕")

break

}

len, err := file.Write(data[:total])

if err != nil {

return 0, errors.New("文件上传失败")

}

upTotal += len

// 记录上传长度

count += int64(len)

breakPointFile.Seek(0, 0)

breakPointFile.WriteString(strconv.Itoa(int(count)))

// 模拟断开

//if count > 4438903 {

// log.Fatal("模拟上传中断")

//}

}

fmt.Println("文件上传长度:", upTotal)

return upTotal, nil

}

// 判断文件或文件夹是否存在

func isFileExists(path string) (bool, error) {

_, err := os.Stat(path)

if err == nil {

return true, nil

}

if os.IsNotExist(err) {

return false, err

}

return false, err

}

// http 服务

func server() {

// 注册一个上传文件服务

http.HandleFunc("/upload", upload)

// 监听8000端口

err := http.ListenAndServe("0.0.0.0:8000",nil)

if err != nil {

log.Fatal("服务启动失败")

}

}