一组数据摘要算法的效率测试

转载 2006年05月26日 11:28:00

一、数据摘要算法概述

数据摘要算法是密码学算法中非常重要的一个分支,它通过对所有数据提取指纹信息以实现数据签名、数据完整性校验等功能,由于其不可逆性,有时候会被用做敏感信息的加密。数据摘要算法也被称为哈希(Hash)算法或散列算法。

常用的数据摘要算法主要以下几大类:

1、CRC8、CRC16、CRC32

CRC(Cyclic Redundancy Check,循环冗余校验)算法出现时间较长,应用也十分广泛,尤其是通讯领域,现在应用最多的就是 CRC32 算法,它产生一个4字节(32位)的校验值,一般是以8位十六进制数,如FA 12 CD 45等。CRC算法的优点在于简便、速度快,严格的来说,CRC更应该被称为数据校验算法,但其功能与数据摘要算法类似,因此也作为测试的可选算法。

在 WinRAR、WinZIP 等软件中,也是以 CRC32 作为文件校验算法的。一般常见的简单文件校验(Simple File Verify – SFV)也是以 CRC32算法为基础,它通过生成一个后缀名为 .SFV 的文本文件,这样可以任何时候可以将文件内容 CRC32运算的结果与 .SFV 文件中的值对比来确定此文件的完整性。

与 SFV 相关工具软件有很多,如MagicSFV、MooSFV等。

2、MD2 、MD4、MD5

这是应用非常广泛的一个算法家族,尤其是 MD5(Message-Digest Algorithm 5,消息摘要算法版本5),它由MD2、MD3、MD4发展而来,由Ron Rivest(RSA公司)在1992年提出,目前被广泛应用于数据完整性校验、数据(消息)摘要、数据加密等。MD2、MD4、MD5 都产生16字节(128位)的校验值,一般用32位十六进制数表示。MD2的算法较慢但相对安全,MD4速度很快,但安全性下降,MD5比MD4更安全、速度更快。

目前在互联网上进行大文件传输时,都要得用MD5算法产生一个与文件匹配的、存储MD5值的文本文件(后缀名为 .md5或.md5sum),这样接收者在接收到文件后,就可以利用与 SFV 类似的方法来检查文件完整性,目前绝大多数大型软件公司或开源组织都是以这种方式来校验数据完整性,而且部分操作系统也使用此算法来对用户密码进行加密,另外,它也是目前计算机犯罪中数据取证的最常用算法。

与MD5 相关的工具有很多,如 WinMD5等。

3、SHA1、SHA256、SHA384、SHA512

SHA(Secure Hash Algorithm)是由美国专门制定密码算法的标准机构—— 美国国家标准技术研究院(NIST)制定的,SHA系列算法的摘要长度分别为:SHA为20字节(160位)、SHA256为32字节(256位)、SHA384为48字节(384位)、SHA512为64字节(512位),由于它产生的数据摘要的长度更长,因此更难以发生碰撞,因此也更为安全,它是未来数据摘要算法的发展方向。由于SHA系列算法的数据摘要长度较长,因此其运算速度与MD5相比,也相对较慢。

目前SHA1的应用较为广泛,主要应用于CA和数字证书中,另外在目前互联网中流行的BT软件中,也是使用SHA1来进行文件校验的。

4、RIPEMD、PANAMA、TIGER、ADLER32 等

RIPEMD是Hans Dobbertin等3人在对MD4,MD5缺陷分析基础上,于1996年提出来的,有4个标准128、160、256和320,其对应输出长度分别为16字节、20字节、32字节和40字节。

TIGER由Ross在1995年提出。Tiger号称是最快的Hash算法,专门为64位机器做了优化。

二、常用数据摘要算法的测试

1、测试方法

  • 测试范围:常见的数据校验、摘要算法,主要有 CRC32、MD5、SHA1、SHA256、SHA384、SHA512
  • 样本数据:2G大小Vmware 虚拟机操作系统的磁盘文件,其中包含其中各种类型的文件,如二进制文件和文本文件等。
  • 软件平台:Windows、.NET Framework 2.0
  • 硬件平台
    • 机器A(SCSI Disk):软件配置 Windows 2000 + .Net Framework 2.0;硬件配置 CPU:4 (Xeon),2.8G,RAM:2G ,HD:70 GB SCSI
    •  机器B(IDE Disk):软件配置 Windows 2003 + .Net Framework 2.0;硬件配置 CPU:1 (P4),2.8G,RAM:1G,HD:40 GB IDE

 

考虑到整个测试过程只是涉及到文件读取与哈希值的计算,并无过多的与操作系统、软件平台、开发语言相关的操作,因此可以认为上述测试方法的结果具有普遍性,即也适用于其它操作系统平台(如Linux/Unix)或应用语言/平台(C、Java)。

2、测试结果

1)不同配置机器间的对比

在不同机器配置上的平均运算结果如下表所示:

注1:配有SCSI磁盘的机器运行时间反而比 IDE 磁盘时间长,可能是由于前者具有较多的应用负载造成的,如Oracle、WebSphere等,而且其OS为 Windows 2000,在之上运行 .NET 应用程序可能与 Windows 2003 的效率有所差别
注2:上述算法中,只有 CRC32 没有包含在.NET Framework 中,而是使用C#单独实现的,因此可能会对其测试结果带来一些影响。

2)不同算法的CPU占用率比较

在不同的算法运行时,在机器B上监控其对于 CPU 的平均使用时间,结果如下表所示:

三、一些测试结论

  • 数据摘要算法的处理是很快的,在一般配置的PC机上使用MD5算法,处理1G的文件数据只需20-30秒(有些专用设备声称达 3GB/秒),不会对应用或机器带来过多负载;
  • MD5、SHA1虽然被发现存在缺陷(碰撞),但在近几年内,仍然可以大量使用;
  • SHA256/384/512 的速度较慢,可以用于少量数据摘要,目前不适合用于大文件校验;
  • ...

消息摘要算法的编程使用

消息摘要: 消息摘要(Message Digest)又称为数字摘要(Digital Digest)。它是一个唯一对应一个消息或文本的固定长度的值,它由一个单向Hash加密函数对消息进行作用而...
  • dongfangjunqi
  • dongfangjunqi
  • 2016年03月05日 15:36
  • 1571

数据摘要算法的测试效率(SHA、MD5和CRC32)

ref:http://www.pslib.com/index.php?mod=skill&action=detail&id=43881 一、数据摘要算法概述 数据摘要算法是密码学算法中非常...
  • booooooooooooooooooo
  • booooooooooooooooooo
  • 2013年08月27日 12:00
  • 715

几种取数据摘要算法的用时对比

今天写程序过程中需要对数据比较校验两次数据是否一致,于是要采用数据摘要的算法。 于是我测试了一下几种常用算法对同一数据的摘要的计算用时,测试结果如下:  MD4算法 15ms,31ms,219ms...
  • horsleylee
  • horsleylee
  • 2011年01月22日 15:45
  • 3238

摘要(Hash)算法总结

数据摘要算法具有不可逆性, 其主要功能有数据签名, 数据完整性校验等. 下面介绍常见的数据摘要算法:一、CRC8、CRC16、CRC32 CRC(Cyclic Redundancy Check,循环冗...
  • u012198553
  • u012198553
  • 2017年03月09日 16:43
  • 1222

常用的消息摘要算法小总结

今天偶然的学习了一下几种关于消息摘要算法的知识。个人觉得很好。应着老话“好记性不如烂笔头”,我就码了几行代码咯。算法嘛,没什么好说的了。毕竟是设计者智慧与汗水的结晶,也是时代进步的推动力。我们能做的就...
  • Marksinoberg
  • Marksinoberg
  • 2016年02月14日 21:34
  • 8506

信息摘要技术及算法介绍

数据摘要算法是密码学算法中非常重要的一个分支,它通过对所有数据提取指纹信息以实现数据签名、数据完整性校验等功能,由于其不可逆性,有时候会被用做敏感信息的加密。 数据摘要算法也被称为哈希(Hash)...
  • HackerSaillen
  • HackerSaillen
  • 2017年03月22日 11:46
  • 822

基于变更的测试 - 提高测试效率和软件质量的最佳方法

剑桥大学最近所做的研究发现,全球每年花费在解决软件问题上的成本已增加到3120亿美元。这个数字表明软件行业存在严峻的质量问题,各公司都花了很多钱来解决这个问题,但是基本都是治标不治本。而软件存在bug...
  • Trinity_Techologies
  • Trinity_Techologies
  • 2016年08月04日 13:41
  • 636

如何衡量测试效率,如何提高测试效率!

 如何衡量测试效率?     可以从软件测试的活动中的以下指标综合考评,去评估衡量测试效率,每项指标都高,自然能够说明一...
  • foreverhuylee
  • foreverhuylee
  • 2014年01月09日 16:42
  • 3174

基本数据结构和算法的前端实现

基本数据结构和算法的前端实现(the implementation of basic data structure and algorithm in JavaScript)[不断补充中] ...
  • rabbitgir
  • rabbitgir
  • 2017年05月03日 16:37
  • 458

FIFO和Binder读取数据效率测试对比结果

最近应领导蛋疼的需求对binder和fifo做一次测试cf
  • hfeng101
  • hfeng101
  • 2014年05月10日 16:33
  • 1509
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:一组数据摘要算法的效率测试
举报原因:
原因补充:

(最多只允许输入30个字)