hash算法比较

最新推荐文章于 2024-05-03 10:14:52 发布
最新推荐文章于 2024-05-03 10:14:52 发布
阅读量3.4k 收藏 5
点赞数 1
分类专栏： 资料收藏 文章标签： 算法 hash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rainharder/article/details/54410768
版权

常用的hash算法有BKDRHash，APHash，DJBHash，JSHash，RSHash，SDBMHash，PJWHash，ELFHash等。

C语言版

unsigned int SDBMHash(char *str)
{
    unsigned int hash = 0;

    while (*str)
    {
        // equivalent to: hash = 65599*hash + (*str++);
        hash = (*str++) + (hash << 6) + (hash << 16) - hash;
    }

    return (hash & 0x7FFFFFFF);
}

// RS Hash Function
unsigned int RSHash(char *str)
{
    unsigned int b = 378551;
    unsigned int a = 63689;
    unsigned int hash = 0;

    while (*str)
    {
        hash = hash * a + (*str++);
        a *= b;
    }

    return (hash & 0x7FFFFFFF);
}

// JS Hash Function
unsigned int JSHash(char *str)
{
    unsigned int hash = 1315423911;

    while (*str)
    {
        hash ^= ((hash << 5) + (*str++) + (hash >> 2));
    }

    return (hash & 0x7FFFFFFF);
}

// P. J. Weinberger Hash Function
unsigned int PJWHash(char *str)
{
    unsigned int BitsInUnignedInt = (unsigned int)(sizeof(unsigned int) * 8);
    unsigned int ThreeQuarters    = (unsigned int)((BitsInUnignedInt  * 3) / 4);
    unsigned int OneEighth        = (unsigned int)(BitsInUnignedInt / 8);
    unsigned int HighBits         = (unsigned int)(0xFFFFFFFF) << (BitsInUnignedInt - OneEighth);
    unsigned int hash             = 0;
    unsigned int test             = 0;

    while (*str)
    {
        hash = (hash << OneEighth) + (*str++);
        if ((test = hash & HighBits) != 0)
        {
            hash = ((hash ^ (test >> ThreeQuarters)) & (~HighBits));
        }
    }

    return (hash & 0x7FFFFFFF);
}

// ELF Hash Function
unsigned int ELFHash(char *str)
{
    unsigned int hash = 0;
    unsigned int x    = 0;

    while (*str)
    {
        hash = (hash << 4) + (*str++);
        if ((x = hash & 0xF0000000L) != 0)
        {
            hash ^= (x >> 24);
            hash &= ~x;
        }
    }

    return (hash & 0x7FFFFFFF);
}

// BKDR Hash Function
unsigned int BKDRHash(char *str)
{
    unsigned int seed = 131; // 31 131 1313 13131 131313 etc..
    unsigned int hash = 0;

    while (*str)
    {
        hash = hash * seed + (*str++);
    }

    return (hash & 0x7FFFFFFF);
}

// DJB Hash Function
unsigned int DJBHash(char *str)
{
    unsigned int hash = 5381;

    while (*str)
    {
        hash += (hash << 5) + (*str++);
    }

    return (hash & 0x7FFFFFFF);
}

// AP Hash Function
unsigned int APHash(char *str)
{
    unsigned int hash = 0;
    int i;

    for (i=0; *str; i++)
    {
        if ((i & 1) == 0)
        {
            hash ^= ((hash << 7) ^ (*str++) ^ (hash >> 3));
        }
        else
        {
            hash ^= (~((hash << 11) ^ (*str++) ^ (hash >> 5)));
        }
    }

    return (hash & 0x7FFFFFFF);
}
//编程珠玑中的一个hash函数
//用跟元素个数最接近的质数作为散列表的大小
#define NHASH 29989
#define MULT 31

unsigned in hash(char *p)
{
    unsigned int h = 0;
    for (; *p; p++)
        h = MULT *h + *p;
    return h % NHASH;
}

C++版

使用了模板支持宽字符串，来源：http://blog.csdn.net/icefireelf/article/details/5796529

// BKDR Hash算法由于在Brian Kernighan与Dennis Ritchie的《The C Programming Language》一书被展示而得名，是一种简单快捷的hash算法，也是Java目前采用的字符串的Hash算法（累乘因子为31）。
template<class T>
size_t BKDRHash(const T *str)
{
    register size_t hash = 0;
    while (size_t ch = (size_t)*str++)
    {       
        hash = hash * 131 + ch;   // 也可以乘以31、131、1313、13131、131313..
        // 有人说将乘法分解为位运算及加减法可以提高效率，如将上式表达为：hash = （hash << 7） + （hash << 1） + hash + ch;
        // 但其实在Intel平台上，CPU内部对二者的处理效率都是差不多的，
        // 我分别进行了100亿次的上述两种运算，发现二者时间差距基本为0（如果是Debug版，分解成位运算后的耗时还要高1/3）；
        // 在ARM这类RISC系统上没有测试过，由于ARM内部使用Booth's Algorithm来模拟32位整数乘法运算，它的效率与乘数有关：
        // 当乘数8-31位都为1或0时，需要1个时钟周期
        // 当乘数16-31位都为1或0时，需要2个时钟周期
        // 当乘数24-31位都为1或0时，需要3个时钟周期
        // 否则，需要4个时钟周期
        // 因此，虽然我没有实际测试，但是我依然认为二者效率上差别不大        
    }
    return hash;
}
// SDBM Hash算法是由于在开源项目SDBM（一种简单的数据库引擎）中被应用而得名，它与BKDRHash思想一致，只是种子不同而已。
template<class T>
size_t SDBMHash(const T *str)
{
    register size_t hash = 0;
    while (size_t ch = (size_t)*str++)
    {
        //hash = 65599 * hash + ch;     
        hash = (size_t)ch + (hash << 6) + (hash << 16) - hash;
    }
    return hash;
}
// RS Hash 因Robert Sedgwicks在其《Algorithms in C》一书中展示而得名。
template<class T>
size_t RSHash(const T *str)
{
    register size_t hash = 0;
    size_t magic = 63689;   
    while (size_t ch = (size_t)*str++)
    {
        hash = hash * magic + ch;
        magic *= 378551;
    }
    return hash;
}
// AP Hash 由Arash Partow发明的一种hash算法。
template<class T>
size_t APHash(const T *str)
{
    register size_t hash = 0;
    size_t ch;
    for (long i = 0; ch = (size_t)*str++; i++)
    {
        if ((i & 1) == 0)
        {
            hash ^= ((hash << 7) ^ ch ^ (hash >> 3));
        }
        else
        {
            hash ^= (~((hash << 11) ^ ch ^ (hash >> 5)));
        }
    }
    return hash;
}
// JS Hash 由Justin Sobel发明的一种hash算法。
template<class T>
size_t JSHash(const T *str)
{
    if(!*str)        // 这是由本人添加，以保证空字符串返回哈希值0
        return 0;
    register size_t hash = 1315423911;
    while (size_t ch = (size_t)*str++)
    {
        hash ^= ((hash << 5) + ch + (hash >> 2));
    }
    return hash;
}
// DEK hash算法是由于Donald E. Knuth在《Art Of Computer Programming Volume 3》中展示而得名。
template<class T>
size_t DEKHash(const T* str)
{
    if(!*str)        // 这是由本人添加，以保证空字符串返回哈希值0
        return 0;
    register size_t hash = 1315423911;
    while (size_t ch = (size_t)*str++)
    {
        hash = ((hash << 5) ^ (hash >> 27)) ^ ch;
    }
    return hash;
}
// FNV Hash Unix system系统中使用的一种著名hash算法，后来微软也在其hash_map中实现。
template<class T>
size_t FNVHash(const T* str)
{
    if(!*str)   // 这是由本人添加，以保证空字符串返回哈希值0
        return 0;
    register size_t hash = 2166136261;
    while (size_t ch = (size_t)*str++)
    {
        hash *= 16777619;
        hash ^= ch;
    }
    return hash;
}
// DJB Hash 由Daniel J. Bernstein教授发明的一种hash算法。
template<class T>
size_t DJBHash(const T *str)
{
    if(!*str)   // 这是由本人添加，以保证空字符串返回哈希值0
        return 0;
    register size_t hash = 5381;
    while (size_t ch = (size_t)*str++)
    {
        hash += (hash << 5) + ch;
    }
    return hash;
}
// DJB2 Hash 由Daniel J. Bernstein 发明的另一种hash算法。
template<class T>
size_t DJB2Hash(const T *str)
{
    if(!*str)   // 这是由本人添加，以保证空字符串返回哈希值0
        return 0;
    register size_t hash = 5381;
    while (size_t ch = (size_t)*str++)
    {
        hash = hash * 33 ^ ch;
    }
    return hash;
}
// PJW Hash算法是基于AT&T贝尔实验室的Peter J. Weinberger的论文而发明的一种hash算法。
template<class T>
size_t PJWHash(const T *str)
{
    static const size_t TotalBits       = sizeof(size_t) * 8;
    static const size_t ThreeQuarters   = (TotalBits  * 3) / 4;
    static const size_t OneEighth       = TotalBits / 8;
    static const size_t HighBits        = ((size_t)-1) << (TotalBits - OneEighth);  

    register size_t hash = 0;
    size_t magic = 0;   
    while (size_t ch = (size_t)*str++)
    {
        hash = (hash << OneEighth) + ch;
        if ((magic = hash & HighBits) != 0)
        {
            hash = ((hash ^ (magic >> ThreeQuarters)) & (~HighBits));
        }
    }
    return hash;
}
// ELF Hash 由于在Unix的Extended Library Function被附带而得名的一种hash算法，它其实就是PJW Hash的变形。
template<class T>
size_t ELFHash(const T *str)
{
    static const size_t TotalBits       = sizeof(size_t) * 8;
    static const size_t ThreeQuarters   = (TotalBits  * 3) / 4;
    static const size_t OneEighth       = TotalBits / 8;
    static const size_t HighBits        = ((size_t)-1) << (TotalBits - OneEighth);  
    register size_t hash = 0;
    size_t magic = 0;
    while (size_t ch = (size_t)*str++)
    {
        hash = (hash << OneEighth) + ch;
        if ((magic = hash & HighBits) != 0)
        {
            hash ^= (magic >> ThreeQuarters);
            hash &= ~magic;
        }       
    }
    return hash;
}

一些测试数据：

使用网上提供的一份英语单词文件：http://www.cs.duke.edu/~ola/ap/linuxwords,共45402个单词,分别比较上面每一个算法在哈希表长度为100,1000和10000时的最大冲突数，理论上平均为455,46和5。结果如下：

算法长度100的哈希长度1000的哈希长度10000的哈希
bkdrhash5097214
aphash5197215
jshash4946615
rshash5057415
sdbmhash5186715
pjwhash75613134
elfhash80115891
djbhash5126417
dekhash5367522
bphash1391696690
fnvhash5166514
javahash5236916

结论
从上面的统计数据可以看出对英文单词集而言，jshash,djbhash和fnvhash都有很好地分散性。

测试1：对100000个由大小写字母与数字随机的ANSI字符串（无重复，每个字符串最大长度不超过64字符）进行散列：

字符串函数冲突数除1000003取余后的冲突数
BKDRHash04826
SDBMHash24814
RSHash24886
APHash04846
ELFHash15156120
JSHash7795587
DEKHash8635643
FNVHash24872
DJBHash8325645
DJB2Hash6955309
PJWHash15156120

测试2：对100000个由任意UNICODE组成随机字符串（无重复，每个字符串最大长度不超过64字符）进行散列：

字符串函数冲突数除1000003取余后的冲突数
BKDRHash34710
SDBMHash34904
RSHash34822
APHash24891
ELFHash164869
JSHash34812
DEKHash14755
FNVHash14803
DJBHash14749
DJB2Hash24817
PJWHash164869

测试3：对1000000个随机ANSI字符串（无重复，每个字符串最大长度不超过64字符）进行散列：

字符串函数耗时（毫秒）
BKDRHash109
SDBMHash109
RSHash124
APHash187
ELFHash249
JSHash172
DEKHash140
FNVHash125
DJBHash125
DJB2Hash125
PJWHash234

结论：也许是我的样本存在一些特殊性，在对ASCII码字符串进行散列时，PJW与ELF Hash（它们其实是同一种算法）无论是质量还是效率，都相当糟糕；例如：”b5”与“aE”，这两个字符串按照PJW散列出来的hash值就是一样的。另外，其它几种依靠异或来散列的哈希函数，如：JS/DEK/DJB Hash，在对字母与数字组成的字符串的散列效果也不怎么好。相对而言，还是BKDR与SDBM这类简单的Hash效率与效果更好。

Hash函数数据1数据2数据3数据4数据1得分数据2得分数据3得分数据4得分平均分
BKDRHash20477448196.5510090.9582.0592.64
APHash23475449396.5588.4610051.2886.28
DJBHash22497547496.5592.31010083.43
JSHash14476150610084.6296.8317.9581.94
RSHash10486150510010051.5820.5175.96
SDBMHash32484950493.192.3157.0123.0872.41
PJWHash302648785130043.89021.95
ELFHash302648785130043.89021.95

其中数据1为100000个字母和数字组成的随机串哈希冲突个数。数据2为100000个有意义的英文句子哈希冲突个数。数据3为数据1的哈希值与 1000003(大素数)求模后存储到线性表中冲突的个数。数据4为数据1的哈希值与10000019(更大素数)求模后存储到线性表中冲突的个数。

经过比较，得出以上平均得分。平均数为平方平均数。可以发现，BKDRHash无论是在实际效果还是编码实现中，效果都是最突出的。APHash也是较为优秀的算法。DJBHash,JSHash,RSHash与SDBMHash各有千秋。PJWHash与ELFHash效果最差，但得分相似，其算法本质是相似的。

资料：

rainharder
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
几个比较著名的哈希算法
07-07
几个比较著名的哈希算法，还有哈希算法的概念以及如何优化哈希值的分布，在日常软件开发中十分有用
详解Go hash算法的支持
09-20
主要介绍了详解Go hash算法的支持，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
php的hash算法介绍
10-26
PHP的Hash采用的是目前最为普遍的DJBX33A (Daniel J. Bernstein, Times 33 with Addition), 这个算法被广泛运用与多个软件项目,Apache, Perl和Berkeley DB等。对于字符串而言这是目前所知道的最好的哈希算法，原因在于该算法的速度非常快，而且分类非常好(冲突小,分布均匀)
C语言实现hash算法
09-04
C语言实现hash算法源码，实现了sha256,sha384,sha512三种哈希算法，项目中用到的，提取出来测试使用的。
hash算法ppt
05-10
该ppt简要地介绍了hash算法及其应用，给初学者进行自我学习
经典字符串Hash函数比较
gddsky的小空间
10-19 2548
1 概述链表查找的时间效率为O(N)，二分法为log2N，B+ Tree为log2N，但Hash链表查找的时间效率为O(1)。 设计高效算法往往需要使用Hash链表，常数级的查找速度是任何别的算法无法比拟的，Hash链表的构造和冲突的不同实现方法对效率当然有一定的影响，然 而Hash函数是Hash链表最核心的部分，本文尝试分析一些经典软件中使用到的字符串Hash函数在执行效率、离散性、空间
hash算法及性能比较
码码的小海绵
09-02 2550
1.拉链法 拉链法就是通过数组和链表共同组成key和许多value的集合来减少冲突。 缺点： 链表的缺点有两个：第一，其长度太长时，会导致搜索性能不好。第二，链表在内存中的存放地址是不连续的，一个缓存行的大小是64B，而每一个node可能占16个字节，如果是数组，每次就可以连续的访问4个node，但是对于链表中的每一个node，就只能单独访问，这样会导致cache的利用率不好。 2.自然...
三种Hash算法对比以及秒传原理.
weixin_33910137的博客
03-27 404
三种Hash算法对比以及秒传原理 CRC (32/64) MD5 Sha1 分5个点来说 1.校验值长度 2.校验值类别 3.安全级别 4.应用场景 1).校验值长度 CRC(32/64) 分别是4个字节和8个字节 MD5 16字节 所以长度为108位 sha1 20字节 160位长度 2)校验值类别 一般把CRC叫做校验码 md5和sha1叫做hash值...
字符串hash算法比较
01-30 598
1 概述 链表查找的时间效率为O(N)，二分法为log2N，B+ Tree为log2N，但Hash链表查找的时间效率为O(1)。 设计高效算法往往需要使用Hash链表，常数级的查找速度是任何别的算法无法比拟的，Hash链表的构造和冲突的不同实现方法对效率当然有一定的影响，然 而Hash函数是Has
浅析Hash算法
lucky_greenegg的专栏
07-13 5675
HASH 算法是一种消息摘要算法，不是一种加密算法，但由于其单向运算，具有一定的不可逆性，成为加密算法中的一个构成部分，完整的加密机制不能仅依赖 HASH 算法。 哈希算法是将目标文本转换成具有相同长度的、不可逆的杂凑字符串（或叫做消息摘要），而加密（Encrypt）是将目标文本转换成具有不同长度的、可逆的密文。       具体来说，两者有如下重要区别：       1、哈希算
Java实现GeoHash算法
05-26
工具类
常用Hash算法(C语言的简单实现)
09-01
下面小编就为大家带来一篇常用Hash算法(C语言的简单实现)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
算法学习(5)-图的遍历
knoci的博客
04-28 932
使用深度优先搜索来遍历这个图的过程具体是：首先从一个未走到过的顶点作为起始顶点， 比如以1号顶点作为起点。沿1号顶点的边去尝试访问其它未走到过的顶点， 首先发现2 号顶点还没有走到过， 于是来到了2 号顶点。再以2 号顶点作为出发点继续尝试访问其它未走到过的顶点， 这样又来到了4号顶点。再以4 号顶点作为出发点继续尝试访问其它未走到过的顶点。但是， 此时沿4号顶点的边， 已经不能访问到其它未走到过的顶点了， 所以要返回到2号顶点。
笔试强训-day17_T2 十字爆破
最新发布
weixin_46186903的博客
05-03 725
模拟即可，但是由于数据量过⼤，我们可以提前把每⼀⾏以及每⼀列的和存起来，⽅便统计总和。解法二：提前把每⼀⾏以及每⼀列的和存起来，然后输入输出使用快速的IO方式，解答如下所示。解法一：暴力遍历，这种方法很容易想到，并且也容易编写出代码，但是会超时。因为1+2+3=6，1+2+4=7，1+3+4=8，2+3+4=9。牛牛选择一个方格，可以得到和这个方格同行、同列的所有数之和的得分。现在牛牛想知道下一步选择每个格子的得分情况，你可以帮帮他吗？m个方格，每个方格中有一个整数。
leetcode16-3Sum Closest
我的程序人生
04-29 378
这道题目和那道3Num的题目很类似，解题思路也是类似的，我们先对数组排序，然后固定一个元素，通过双指针遍历剩下的元素，用一个哨兵记录三个元素的和与target的diff，分别处理三个元素的和小于target，大于target，等于target这三种情况即可。请你从 nums 中选出三个整数，使它们的和与 target 最接近。解释：与 target 最接近的和是 2 (-1 + 2 + 1 = 2)。输入：nums = [-1,2,1,-4], target = 1。假定每组输入只存在恰好一个解。
c++容器与算法概述
北风
05-01 520
简单讲述输入输出运算符重载 以及容器的简单使用及接口哦苦
代码随想录算法训练营第三十八天
weixin_41902984的博客
04-28 333
又又又欠两天债，不过回家了，一切可以按部就班，明天慢慢补吧，今天先做一课的内容。然后就是如果一次可以上m个阶梯的话应该怎么做，先把伪代码放上来。其实就是斐波那契数，不过需要理解一下过程。还好还好，动态规划第一天不太难。746. 使用最小花费爬楼梯。509. 斐波那契数。
2023下半年软件设计师上午题——冒泡排序
白白白鲤鱼的博客
05-02 606
2023下半年软件设计师上午题——冒泡排序
c++ hash算法
11-23
常用的字符串哈希算法有BKDR Hash、AP Hash、DJB Hash等。以下是BKDR Hash的实现代码： ```c++ size_t BKDRHash(const char* str) { size_t seed = 131; // 31 131 1313 13131 131313 etc.. size_t hash = 0; ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值