golang下载、上传文件MD5高效计算方法,利用io.TeeReader函数特性 实时计算文件md5签名

在go语言的开发中,当我们在操作下载或者上传文件对象时, 我们可以利用golang内置的io包中的 TeeReader函数特性,高效实时计算文件的md5值。 方法如下:

TeeReader高效计算文件md5示例

保存上传文件,并使用文件的md5签名.扩展名 作为保存文件名,再读取上传文件的同时计算文件md5签名

// 上传文件  使用文件md5签名.ext 作为文件名
func UploadFile(file *multipart.FileHeader) (string, error) {

	f, err := file.Open() // 读取文件
	if err != nil {
		return "", fmt.Errorf("error reading multipart file: %v", err)
	}
	defer f.Close() // 创建文件 defer 关闭

	// 计算文件md5 这里使用 TreeReader的特性在拷贝文件的同时 高效计算文件md5
	md5 := md5.New()
	treeReader := io.TeeReader(f, md5)
	fmd5 := hex.EncodeToString(md5.Sum(nil)) // 获取上传文件的md5签名字符串

	// 拼接目标文件 使用文件md5签名.ext 作为文件名
	dstFile := filepath.Join("upload", fmd5+filepath.Ext(file.Filename) )

	// 创建目标文件对象
	dst, err := os.Create(dstFile)
	if err != nil {
		return "", fmt.Errorf("error creating dst file: %v", err)
	}
	defer dst.Close() // 创建文件 defer 关闭

	// 从treeReader将文件拷贝到目标文件 dst
	if _, err = io.Copy(dst, treeReader); err != nil {
		return "", fmt.Errorf("error Copy file to destination: %v", err)
	}

	return dstFile, nil
}

TeeReader函数定义参考


// TeeReader returns a [Reader] that writes to w what it reads from r.
// All reads from r performed through it are matched with
// corresponding writes to w. There is no internal buffering -
// the write must complete before the read completes.
// Any error encountered while writing is reported as a read error.
func TeeReader(r Reader, w Writer) Reader {
	return &teeReader{r, w}
}

type teeReader struct {
	r Reader
	w Writer
}

func (t *teeReader) Read(p []byte) (n int, err error) {
	n, err = t.r.Read(p)
	if n > 0 {
		if n, err := t.w.Write(p[:n]); err != nil {
			return n, err
		}
	}
	return
}

总结:golang的io包中的这个TeeReader函数给我们提供了非常高效的文件操作的同时进行其他任务的接口,利用这个特性我们可以在保存文件的同时高效的计算文件的MD5,  也可以利用它来实时的显示文件操作进度条等。

更多使用方法参见  go语言内置io包中TreeReader函数的理解和使用示例_golang io.teereader-CSDN博客

  • 4
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
你可以使用Go语言的net包来连接其他机器并获取文件MD5值。以下是一个示例代码: ```go package main import ( "crypto/md5" "fmt" "io" "net" "os" ) func main() { // 远程机器的IP地址和端口号 host := "192.168.1.100" port := "8888" // 要获取MD5值的文件路径 path := "/path/to/file.txt" // 连接远程机器 conn, err := net.Dial("tcp", host+":"+port) if err != nil { fmt.Println("Error while connecting to remote machine:", err) return } defer conn.Close() // 发送文件路径给远程机器 if _, err := conn.Write([]byte(path)); err != nil { fmt.Println("Error while sending file path:", err) return } // 接收远程机器返回的MD5md5sum := make([]byte, md5.Size) if _, err := io.ReadFull(conn, md5sum); err != nil { fmt.Println("Error while receiving MD5 sum:", err) return } // 输出MD5值 fmt.Printf("MD5 of file %s on %s: %x\n", path, host, md5sum) } ``` 你需要将`host`和`port`变量替换成远程机器的IP地址和端口号,将`path`变量替换成要获取MD5值的文件的路径。然后你需要在远程机器上编写一个简单的TCP服务器程序,用于接收文件路径并计算MD5值。例如: ```go package main import ( "crypto/md5" "fmt" "io" "net" "os" ) func main() { // 监听的端口号 port := "8888" // 监听TCP端口 listener, err := net.Listen("tcp", ":"+port) if err != nil { fmt.Println("Error while listening:", err) return } defer listener.Close() for { // 等待连接 conn, err := listener.Accept() if err != nil { fmt.Println("Error while accepting connection:", err) continue } // 接收文件路径 path := make([]byte, 1024) n, err := conn.Read(path) if err != nil { fmt.Println("Error while receiving file path:", err) continue } path = path[:n] // 计算MD5值 f, err := os.Open(string(path)) if err != nil { fmt.Println("Error while opening file:", err) continue } defer f.Close() h := md5.New() if _, err := io.Copy(h, f); err != nil { fmt.Println("Error while calculating MD5:", err) continue } md5sum := h.Sum(nil) // 发送MD5值 if _, err := conn.Write(md5sum); err != nil { fmt.Println("Error while sending MD5 sum:", err) continue } conn.Close() } } ``` 你需要将`port`变量替换成你要监听的端口号。然后你可以运行这个程序并等待其他机器连接,计算MD5值并返回。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值