mysql 字符串hash函数_经典字符串hash函数介绍及性能比较

最新推荐文章于 2024-05-07 11:17:25 发布
最新推荐文章于 2024-05-07 11:17:25 发布
阅读量521 收藏
点赞数
文章标签： mysql 字符串hash函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39849894/article/details/113269772
版权

/// @brief BKDR Hash Function

/// @detail 本 算法由于在Brian Kernighan与Dennis Ritchie的《The C Programming Language》一书被展示而得 名，是一种简单快捷的hash算法，也是Java目前采用的字符串的Hash算法(累乘因子为31)。

template

size_tBKDRHash(constT *str)

{

registersize_thash = 0;

while(size_tch = (size_t)*str++)

{

hash = hash * 131 + ch;   // 也可以乘以31、131、1313、13131、131313..

// 有人说将乘法分解为位运算及加减法可以提高效率，如将上式表达为：hash = hash <

// 但其实在Intel平台上，CPU内部对二者的处理效率都是差不多的，

// 我分别进行了100亿次的上述两种运算，发现二者时间差距基本为0(如果是Debug版，分解成位运算后的耗时还要高1/3)；

// 在ARM这类RISC系统上没有测试过，由于ARM内部使用Booth's Algorithm来模拟32位整数乘法运算，它的效率与乘数有关：

// 当乘数8-31位都为1或0时，需要1个时钟周期

// 当乘数16-31位都为1或0时，需要2个时钟周期

// 当乘数24-31位都为1或0时，需要3个时钟周期

// 否则，需要4个时钟周期

// 因此，虽然我没有实际测试，但是我依然认为二者效率上差别不大

}

returnhash;

}

/// @brief SDBM Hash Function

/// @detail 本算法是由于在开源项目SDBM(一种简单的数据库引擎)中被应用而得名，它与BKDRHash思想一致，只是种子不同而已。

template

size_tSDBMHash(constT *str)

{

registersize_thash = 0;

while(size_tch = (size_t)*str++)

{

hash = 65599 * hash + ch;

//hash = (size_t)ch + (hash <

}

returnhash;

}

/// @brief RS Hash Function

/// @detail 因Robert Sedgwicks在其《Algorithms in C》一书中展示而得名。

template

size_tRSHash(constT *str)

{

registersize_thash = 0;

size_tmagic = 63689;

while(size_tch = (size_t)*str++)

{

hash = hash * magic + ch;

magic *= 378551;

}

returnhash;

}

/// @brief AP Hash Function

/// @detail 由Arash Partow发明的一种hash算法。

template

size_tAPHash(constT *str)

{

registersize_thash = 0;

size_tch;

for(longi = 0; ch = (size_t)*str++; i++)

{

if((i & 1) == 0)

{

hash ^= ((hash <> 3));

}

else

{

hash ^= (~((hash <> 5)));

}

}

returnhash;

}

/// @brief JS Hash Function

/// 由Justin Sobel发明的一种hash算法。

template

size_tJSHash(constT *str)

{

if(!*str)// 这是由本人添加，以保证空字符串返回哈希值0

return0;

registersize_thash = 1315423911;

while(size_tch = (size_t)*str++)

{

hash ^= ((hash <> 2));

}

returnhash;

}

/// @brief DEK Function

/// @detail 本算法是由于Donald E. Knuth在《Art Of Computer Programming Volume 3》中展示而得名。

template

size_tDEKHash(constT* str)

{

if(!*str)// 这是由本人添加，以保证空字符串返回哈希值0

return0;

registersize_thash = 1315423911;

while(size_tch = (size_t)*str++)

{

hash = ((hash <> 27)) ^ ch;

}

returnhash;

}

/// @brief FNV Hash Function

/// @detail Unix system系统中使用的一种著名hash算法，后来微软也在其hash_map中实现。

template

size_tFNVHash(constT* str)

{

if(!*str)// 这是由本人添加，以保证空字符串返回哈希值0

return0;

registersize_thash = 2166136261;

while(size_tch = (size_t)*str++)

{

hash *= 16777619;

hash ^= ch;

}

returnhash;

}

/// @brief DJB Hash Function

/// @detail 由Daniel J. Bernstein教授发明的一种hash算法。

template

size_tDJBHash(constT *str)

{

if(!*str)// 这是由本人添加，以保证空字符串返回哈希值0

return0;

registersize_thash = 5381;

while(size_tch = (size_t)*str++)

{

hash += (hash <

}

returnhash;

}

/// @brief DJB Hash Function 2

/// @detail 由Daniel J. Bernstein 发明的另一种hash算法。

template

size_tDJB2Hash(constT *str)

{

if(!*str)// 这是由本人添加，以保证空字符串返回哈希值0

return0;

registersize_thash = 5381;

while(size_tch = (size_t)*str++)

{

hash = hash * 33 ^ ch;

}

returnhash;

}

/// @brief PJW Hash Function

/// @detail 本算法是基于AT&T贝尔实验室的Peter J. Weinberger的论文而发明的一种hash算法。

template

size_tPJWHash(constT *str)

{

staticconstsize_tTotalBits       =sizeof(size_t) * 8;

staticconstsize_tThreeQuarters   = (TotalBits  * 3) / 4;

staticconstsize_tOneEighth       = TotalBits / 8;

staticconstsize_tHighBits        = ((size_t)-1) <

registersize_thash = 0;

size_tmagic = 0;

while(size_tch = (size_t)*str++)

{

hash = (hash <

if((magic = hash & HighBits) != 0)

{

hash = ((hash ^ (magic >> ThreeQuarters)) & (~HighBits));

}

}

returnhash;

}

/// @brief ELF Hash Function

/// @detail 由于在Unix的Extended Library Function被附带而得名的一种hash算法，它其实就是PJW Hash的变形。

template

size_tELFHash(constT *str)

{

staticconstsize_tTotalBits       =sizeof(size_t) * 8;

staticconstsize_tThreeQuarters   = (TotalBits  * 3) / 4;

staticconstsize_tOneEighth       = TotalBits / 8;

staticconstsize_tHighBits        = ((size_t)-1) <

registersize_thash = 0;

size_tmagic = 0;

while(size_tch = (size_t)*str++)

{

hash = (hash <

if((magic = hash & HighBits) != 0)

{

hash ^= (magic >> ThreeQuarters);

hash &= ~magic;

}

}

returnhash;

}

这些hash的散列质量及效率作了一个简单测试，测试结果如下：

测试1：对100000个由大小写字母与数字随机的ANSI字符串(无重复，每个字符串最大长度不超过64字符)进行散列：

字符串函数

冲突数

除1000003取余后的冲突数

BKDRHash

0

4826

SDBMHash

2

4814

RSHash

2

4886

APHash

0

4846

ELFHash

1515

6120

JSHash

779

5587

DEKHash

863

5643

FNVHash

2

4872

DJBHash

832

5645

DJB2Hash

695

5309

PJWHash

1515

6120

测试2：对100000个由任意UNICODE组成随机字符串(无重复，每个字符串最大长度不超过64字符)进行散列：

字符串函数

冲突数

除1000003取余后的冲突数

BKDRHash

3

4710

SDBMHash

3

4904

RSHash

3

4822

APHash

2

4891

ELFHash

16

4869

JSHash

3

4812

DEKHash

1

4755

FNVHash

1

4803

DJBHash

1

4749

DJB2Hash

2

4817

PJWHash

16

4869

测试3：对1000000个随机ANSI字符串(无重复，每个字符串最大长度不超过64字符)进行散列：

字符串函数

耗时(毫秒)

BKDRHash

109

SDBMHash

109

RSHash

124

APHash

187

ELFHash

249

JSHash

172

DEKHash

140

FNVHash

125

DJBHash

125

DJB2Hash

125

PJWHash

234

结论：也许是我的样本存在一些特殊性，在对ASCII码字符串进行散列时，PJW与ELF Hash(它们其实是同一种算法)无论是质量还是效率，都相当糟糕；例如："b5"与“aE"，这两个字符串按照PJW散列出来的hash值就是一样的。 另外，其它几种依靠异或来散列的哈希函数，如：JS/DEK/DJB Hash，在对字母与数字组成的字符串的散列效果也不怎么好。相对而言，还是BKDR与SDBM这类简单的Hash效率与效果更好。

其他：

常用的字符串Hash函数还有ELFHash，APHash等等，都是十分简单有效的方法。这些函数使用位运算使得每一个字符都对最后的函数值产生 影响。另外还有以MD5和SHA1为代表的杂凑函数，这些函数几乎不可能找到碰撞。

常用字符串哈希函数有 BKDRHash，APHash，DJBHash，JSHash，RSHash，SDBMHash，PJWHash，ELFHash等等。对于以上几种哈 希函数，我对其进行了一个小小的评测。

Hash函数

数据1

数据2

数据3

数据4

数据1得分

数据2得分

数据3得分

数据4得分

平均分

BKDRHash

2

0

4774

481

96.55

100

90.95

82.05

92.64

APHash

2

3

4754

493

96.55

88.46

100

51.28

86.28

DJBHash

2

2

4975

474

96.55

92.31

0

100

83.43

JSHash

1

4

4761

506

100

84.62

96.83

17.95

81.94

RSHash

1

0

4861

505

100

100

51.58

20.51

75.96

SDBMHash

3

2

4849

504

93.1

92.31

57.01

23.08

72.41

PJWHash

30

26

4878

513

0

0

43.89

0

21.95

ELFHash

30

26

4878

513

0

0

43.89

0

21.95

其中数据1为100000个字母和数字组成的随机串哈希冲突个数。数据2为100000个有意义的英文句子哈希冲突个数。数据3为数据1的哈希值与 1000003(大素数)求模后存储到线性表中冲突的个数。数据4为数据1的哈希值与10000019(更大素数)求模后存储到线性表中冲突的个数。

经过比较，得出以上平均得分。平均数为平方平均数。可以发现，BKDRHash无论是在实际效果还是编码实现中，效果都是最突出的。APHash也 是较为优秀的算法。DJBHash,JSHash,RSHash与SDBMHash各有千秋。PJWHash与ELFHash效果最差，但得分相似，其算 法本质是相似的。

/* 一些Hash算法的转换：将乘除算法转为加减移位*/

unsigned int SDBMHash(char *str)

{

unsigned int hash = 0;

while (*str)

{

// equivalent to: hash = 65599*hash + (*str++);

hash = (*str++) + (hash << 6) + (hash << 16) - hash;

}

return (hash & 0x7FFFFFFF);

}

// RS Hash Function

unsigned int RSHash(char *str)

{

unsigned int b = 378551;

unsigned int a = 63689;

unsigned int hash = 0;

while (*str)

{

hash = hash * a + (*str++);

a *= b;

}

return (hash & 0x7FFFFFFF);

}

// JS Hash Function

unsigned int JSHash(char *str)

{

unsigned int hash = 1315423911;

while (*str)

{

hash ^= ((hash << 5) + (*str++) + (hash >> 2));

}

return (hash & 0x7FFFFFFF);

}

// P. J. Weinberger Hash Function

unsigned int PJWHash(char *str)

{

unsigned int BitsInUnignedInt = (unsigned int)(sizeof(unsigned int) * 8);

unsigned int ThreeQuarters    = (unsigned int)((BitsInUnignedInt  * 3) / 4);

unsigned int OneEighth        = (unsigned int)(BitsInUnignedInt / 8);

unsigned int HighBits         = (unsigned int)(0xFFFFFFFF) << (BitsInUnignedInt - OneEighth);

unsigned int hash             = 0;

unsigned int test             = 0;

while (*str)

{

hash = (hash << OneEighth) + (*str++);

if ((test = hash & HighBits) != 0)

{

hash = ((hash ^ (test >> ThreeQuarters)) & (~HighBits));

}

}

return (hash & 0x7FFFFFFF);

}

// ELF Hash Function

unsigned int ELFHash(char *str)

{

unsigned int hash = 0;

unsigned int x    = 0;

while (*str)

{

hash = (hash << 4) + (*str++);

if ((x = hash & 0xF0000000L) != 0)

{

hash ^= (x >> 24);

hash &= ~x;

}

}

return (hash & 0x7FFFFFFF);

}

// BKDR Hash Function

unsigned int BKDRHash(char *str)

{

unsigned int seed = 131; // 31 131 1313 13131 131313 etc..

unsigned int hash = 0;

while (*str)

{

hash = hash * seed + (*str++);

}

return (hash & 0x7FFFFFFF);

}

// DJB Hash Function

unsigned int DJBHash(char *str)

{

unsigned int hash = 5381;

while (*str)

{

hash += (hash << 5) + (*str++);

}

return (hash & 0x7FFFFFFF);

}

// AP Hash Function

unsigned int APHash(char *str)

{

unsigned int hash = 0;

int i;

for (i=0; *str; i++)

{

if ((i & 1) == 0)

{

hash ^= ((hash << 7) ^ (*str++) ^ (hash >> 3));

}

else

{

hash ^= (~((hash << 11) ^ (*str++) ^ (hash >> 5)));

}

}

return (hash & 0x7FFFFFFF);

}

weixin_39849894
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MySQL 字符串函数大全
09-11
以下是一些主要的MySQL字符串函数的详细说明： 1. **ASCII(str)**：返回字符串`str`最左边字符的ASCII码值。如果`str`为空字符串，返回0；如果`str`是NULL，返回NULL。例如，`ASCII('2')`返回50。 2. **ORD(str)**...
经典字符串Hash函数测试
08-06
### 经典字符串Hash函数介绍 #### PHP中的字符串Hash函数 PHP中使用的字符串Hash函数采用了一种称为PJW Hash的方法，该方法通过循环左移操作和特定的位操作来提高Hash值的离散性和均匀分布。具体实现如下： ```c ...
字符串hash算法比较
09-20
3. MySQL中的字符串哈希函数： MySQL提供了两种哈希函数，一种是敏感的calc_hashnr，另一种是不区分大小写的calc_hashnr_caseup。这两种函数都基于线性同余法，通过不断异或和乘法操作来生成哈希值。它们在处理...
MySQL 中的HASH详解
Eucalyptus's blog
05-07 949
MySQL中的哈希索引（Hash Index）是一种特殊的数据库索引类型，它利用哈希表（Hash Table）的数据结构来存储索引项。哈希表通过哈希函数（Hash Function）将索引列的值转化为一个固定长度的哈希码（Hash Code），然后用这个哈希码作为索引项在表中定位数据记录的位置。这种方式使得对于等值查询（例如）能够非常快速，理想情况下接近O(1)的时间复杂度。
详解Python字符串对象的实现
01-20
“ob_shash” 对应字符串经计算过的 hash值， “ob_sval” 指向一段长度为 “ob_size” 的字符串，且该字符串以‘null’结尾（为了兼容C）。“ob_sval”的初始大小为1个字节，且 ob_sval[0]=0（对应空字符串）。若你...
主流字符串哈希算法简明介绍及实例代码
08-26
主流字符串哈希算法简明介绍及实例代码 哈希算法是计算机科学中的一种基础算法，广泛应用于数据存储、检索、加密等领域。字符串哈希算法是哈希算法中的一种特殊类型，专门用于处理字符串类型的数据。在本文中，我们...
2024年全球资产管理报告：AI与下一轮转型浪潮-BCG.pdf
08-02
2024年全球资产管理报告：AI与下一轮转型浪潮-BCG.pdf
电子书：探索人工智能在 OSINT 中的作用中文版.pdf
08-02
电子书：探索人工智能在 OSINT 中的作用中文版.pdf
基于Springboot的线上历史馆藏系统（有报告） Javaee项目，springboot项目
最新发布
08-02
资源详情：https://blog.csdn.net/2302_78191516/article/details/140881816
YOLO施工工地安全图像数据集+5000张高质量图像数据集+标注完整的数据
08-02
施工工地安全图像数据集+5000张高质量图像数据集+标注完整的数据 这是一个适合初学者的数据集，用于多类分类、对象检测和跟踪。注释采用 YoloV8 格式。数据集文件夹本身中提供了分割和元数据，因此任何人都可以使用此数据来运行模型并生成结果。因为标签采用以下格式：“安全帽”、“口罩”、“无安全帽”、“无口罩”、“无安全背心”、“人员”、“安全锥”、“安全背心”、“机械”、“车辆”。在跟踪和监控应用中，一个人是否戴着安全帽非常重要。大多数数据集都没有以这种特定方式注释，这使得该数据集非常有用。 标签注释： YOLO格式（.txt） 元数据： metadata.csv 和 count.csv 提供有关数据集和 train-val-test 计数信息的信息。 ——小白不懂运行，下载完可以私聊问，可远程教学 ——有一定编程基础的朋友，可以在此源码基础上进行自由修改和扩展，实现更多个性化功能,非常适用于毕设、课设、作业等。 —— 下载后，请先阅读README.md文件（如有），以便更好地了解项目详情和使用方法。本资源仅供学习参考，切勿用于商业用途。如有任何疑问或需
【中科院1区】Matlab实现龙格库塔优化算法RUN-RF故障诊断算法研究.rar
08-02
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
hlwapp_1.1.0_240801_2.apk
08-02
hlwapp_1.1.0_240801_2.apk
2024中国留学生归国求职洞察报告-领英人才洞察.pdf
08-02
2024中国留学生归国求职洞察报告-领英人才洞察.pdf
数字化转型之德勤卓越业务流程管理方法论及案例.docx
08-02
数字化转型之德勤卓越业务流程管理方法论及案例.docx
自动驾驶汽车的标志视觉检测数据集
08-02
自动驾驶汽车的标志视觉检测数据集 数据说明： 这个数据集是一个包含4969个样本的交通标志图像数据集，这个数据集(如图像中所看到的)被正确地分为三个部分:训练、有效和测试。 类别名称:绿灯、红灯、限速10、限速100、限速110、限速120、限速20、限速30,限速40、限速50、限速60、限速70、限速80、限速90、停车。 下面是这个项目的几个用例: 自动驾驶车辆导航:该模型可用于自动驾驶汽车系统，以准确识别交通标志。这将使自动驾驶车辆能够遵守交通规则和法规，分析每个标志，无论是关于速度限制还是停车标志，以安全地导航道路。 交通规则合规性:该模型可用于驾驶员辅助系统，以确保驾驶员遵守所有交通规则。当驾驶员超过限速或红灯不停车时，可以生成警报，从而促进道路安全。 道路安全培训计划:该模型允许驾驶学校和汽车公司建立模拟和教育计划。这些计划可以指导新驾驶员识别和应对不同的交通标志，从而增强道路安全知识。 智能城市基础设施:城市当局可以在连接的CCTV或物联网基础设施中使用此模型来实时跟踪和监控交通合规性，帮助确定经常违反规则的区域，以进行潜在改进。 道路网络分析:交通工程研究人员可以使用
【创新未发表】Matlab实现樽海鞘优化算法SSA-RF实现风电预测算法研究.rar
08-02
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
【中科院1区】Matlab实现星雀优化算法NOA-RF锂电池健康状态估计算法研究.rar
08-02
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
java-springboot+vue服装生产管理的设计与实现源码(项目源码-说明文档)
08-02
java-springboot+vue服装生产管理的设计与实现 项目关键技术 开发工具：IDEA 、Eclipse 编程语言: Java 数据库: MySQL5.7+ 后端技术：Springboot 前端技术：Vue、HTML5、css、JavaScript 关键技术：springboot、vue、MYSQL、MAVEN 数据库工具：Navicat、SQLyog
微播易2024AI时代的社交媒体营销进化.pdf
08-02
【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2024AI时代的社交媒体营销进化.pdf【微播易】2
mysql 计算字符串hash
03-21
可以使用MySQL内置的函数来计算字符串的hash值，例如使用MD5函数： SELECT MD5('hello world'); 这将返回字符串"5eb63bbbe01eeed093cb22bb8f5acdc3"，这是"hello world"的MD5哈希值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值