Golang 获取文件 md5 校验和的方法及效率比较

磐石区

已于 2024-09-13 22:14:59 修改

阅读量1.9w

点赞数 3

分类专栏： Golang 文章标签： golang md5 文件校验和效率

于 2016-11-17 17:16:48 首次发布

本文链接：https://blog.csdn.net/panshiqu/article/details/53202989

版权

Golang 专栏收录该内容

8 篇文章 3 订阅

订阅专栏

本文探讨了在Golang中获取文件MD5校验和的两种方法，并通过测试对比了它们的效率。针对大量且大小不一的文件，文章提到了效率问题的重要性。在测试中，一种方法被证明在处理大文件时具有更高的效率，推荐在实际应用中采用。

摘要由CSDN通过智能技术生成

近期有一个需求：获取多个文件 md5 校验和判断是否存在重复文件，因为文件数量较多，有的文件还比较大，需要处理的文件还没有到位，我就考虑了一下效率的问题。目前我已知的 Golang 中获取 md5 校验和的方法有两个，这里直接给出实现源码。

package main

import (
	"crypto/md5"
	"flag"
	"fmt"
	"io"
	"io/ioutil"
	"os"
)

var which = flag.Bool("which", true, "")
var path = flag.String("path", "", "")
var cnt = flag.Int("cnt", 100, "")

func aaa() {
	f, err := os.Open(*path)
	if err != nil {
		fmt.Println("Open", err)
		return
	}

	defer f.Close()

	body, err := ioutil.ReadAll(f)
	if err != nil {
		fmt.Println("ReadAll", err)
		return
	}

	md5.Sum(body)
	//fmt.Printf("%x\n", md5.Sum(body))
}

func bbb() {
	f, err := os.Open(*path)
	if err != nil {
		fmt.Println("Open", err)
		return
	}

	defer f.Close()

	md5hash := md5.New()
	if _, err := io.Copy(md5hash, f); err != nil {
		fmt.Println("Copy", err)
		return
	}

	md5hash.Sum(nil)
	//fmt.Printf("%x\n", md5hash.Sum(nil))
}

func main() {
	flag.Parse()

	for i := 0; i < *cnt; i++ {
		if *which {
			aaa()
		} else {
			bbb()
		}
	}
}

还有可供参考的获取 md5 校验和的 Shell 命令

md5 -- calculate a message-digest fingerprint (checksum) for a file
md5 [-pqrtx] [-s string] [file ...]

测试文件是公司项目的日志文件

banjakukutekiiMac:shell panshiqu$ ls -an | grep by
-rw-r--r--   1 501  20   7285957 11 17 16:14 by.out

banjakukutekiiMac:shell panshiqu$ cp by.out by2.out
banjakukutekiiMac:shell panshiqu$ cat by.out >> by2.out

banjakukutekiiMac:shell panshiqu$ ls -an | grep by
-rw-r--r--   1 501  20   7285957 11 17 16:14 by.out
-rw-r--r--   1 501  20  14571914 11 17 17:03 by2.out

下面效率展示

banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=true -path="by.out"

real	0m0.027s
user	0m0.017s
sys	0m0.012s
banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=true -path="by2.out"

real	0m0.048s
user	0m0.033s
sys	0m0.018s
banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=false -path="by.out"

real	0m0.018s
user	0m0.012s
sys	0m0.004s
banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=false -path="by2.out"

real	0m0.031s
user	0m0.024s
sys	0m0.005s
banjakukutekiiMac:shell panshiqu$ time md5 by.out
MD5 (by.out) = 9d79e19a00cef1ae1bb6518ca4adf9de

real	0m0.023s
user	0m0.019s
sys	0m0.006s
banjakukutekiiMac:shell panshiqu$ time md5 by2.out
MD5 (by2.out) = 0a029a460a20e8dcb00d032d6fab74c6

real	0m0.042s
user	0m0.037s
sys	0m0.009s

总结：