测试哪一个HashStr函数最适合你

最新推荐文章于 2024-04-23 19:59:14 发布
最新推荐文章于 2024-04-23 19:59:14 发布
阅读量895 收藏
点赞数
分类专栏： 算法 文章标签： hash hashstr hashstring
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wllenyj/article/details/79284517
版权

背景

string hash函数在分布式设计中使用非常的频繁。比如数据库分表，需要根据数据库的主键进行hash，比如负载均衡，需要根据ip或url或uri进行hash。但是根据不同的给定的键，哪种hashStr函数的冲突率最低，执行速度最快呢？有没有一种最优的hashStr函数呢？

HashStr函数

下面是引用别人的帖子，是对字符串hash函数的比较，不再赘述。
各种字符串Hash函数比较
A Hash Function for Hash Table Lookup

在信息修竞赛中，要本着易于编码调试的原则，个人认为BKDRHash是最适合记忆和使用的。 —— BYVoid

是不是如作者所说，试一试才知道。

试验

使用go语言写了一个test，用来测试给定的key集，使用不同的hashStr函数进行测试，看看最后的分布情况，执行效率。
git地址：https://github.com/wllenyj/TestHashStr

我的使用场景

我的工作项目中有一些id，是20多位数字组成。在程序处理过程中需要对id map进行上锁。数量大了以后，为了增加处理的并发量，对id分散到16/32个map再分别使用16/32个锁。

测试结果

取了28k的数据进行测试，hash函数找了一些经典实现，还从github上找了一些好的实现。

$ sh run.sh 
=== RUN   TestBKDRHash1_16
--- PASS: TestBKDRHash1_16 (0.00s)
        hash_test.go:57: [1678 1659 1627 1711 1686 1690 1658 1930 1690 1712 1907 2024 1697 1982 1785 1739]
=== RUN   TestBKDRHash1_32
--- PASS: TestBKDRHash1_32 (0.00s)
        hash_test.go:57: [863 849 830 837 865 854 842 859 904 792 882 917 841 869 958 864 815 810 797 874 821 836 816 1071 786 920 1025 1107 856 1113 827 875]
=== RUN   TestBKDRHash2_16
--- PASS: TestBKDRHash2_16 (0.00s)
        hash_test.go:57: [1638 1674 1657 1987 1722 1815 1692 1752 1710 1710 1722 1970 1681 1844 1906 1695]
=== RUN   TestBKDRHash2_32
--- PASS: TestBKDRHash2_32 (0.00s)
        hash_test.go:57: [809 857 857 852 854 824 856 882 795 857 813 891 812 814 1065 827 829 817 800 1135 868 991 836 870 915 853 909 1079 869 1030 841 868]
=== RUN   TestBKDRHash3_16
--- PASS: TestBKDRHash3_16 (0.00s)
        hash_test.go:57: [1638 1674 1657 1987 1722 1815 1692 1752 1710 1710 1722 1970 1681 1844 1906 1695]
=== RUN   TestBKDRHash3_32
--- PASS: TestBKDRHash3_32 (0.00s)
        hash_test.go:57: [807 850 823 1072 846 924 854 889 814 895 909 915 899 818 850 852 831 824 834 915 876 891 838 863 896 815 813 1055 782 1026 1056 843]
=== RUN   TestSDBMHash_16
--- PASS: TestSDBMHash_16 (0.00s)
        hash_test.go:57: [1621 1715 1848 1673 1701 1689 1766 1764 1747 1656 1686 2062 1682 1983 1677 1905]
=== RUN   TestSDBMHash_32
--- PASS: TestSDBMHash_32 (0.00s)
        hash_test.go:57: [545 528 665 400 360 365 462 401 482 467 573 671 701 851 916 1186 1076 1187 1183 1273 1341 1324 1304 1363 1265 1189 1113 1391 981 1132 761 719]
=== RUN   TestAPHash_16
--- PASS: TestAPHash_16 (0.01s)
        hash_test.go:57: [1854 2079 1740 1682 1837 1649 1698 1661 1686 1708 1639 1639 1773 1780 1801 1949]
=== RUN   TestAPHash_32
--- PASS: TestAPHash_32 (0.01s)
        hash_test.go:57: [834 897 928 845 1049 843 823 823 845 852 848 845 844 909 960 817 1020 1182 812 837 788 806 875 838 841 856 791 794 929 871 841 1132]
=== RUN   TestMetroHash_16
--- PASS: TestMetroHash_16 (0.00s)
        hash_test.go:57: [1901 1714 1670 1664 1974 1733 1716 1970 1685 1709 1706 1693 1829 1716 1762 1733]
=== RUN   TestMetroHash_32
--- PASS: TestMetroHash_32 (0.00s)
        hash_test.go:57: [1066 885 829 849 1124 841 862 1125 879 821 863 841 792 863 855 837 835 829 841 815 850 892 854 845 806 888 843 852 1037 853 907 896]
=== RUN   TestJavaHash_16
--- PASS: TestJavaHash_16 (0.01s)
        hash_test.go:57: [1621 1715 1848 1673 1701 1689 1766 1764 1747 1656 1686 2062 1682 1983 1677 1905]
=== RUN   TestJavaHash_32
--- PASS: TestJavaHash_32 (0.01s)
        hash_test.go:57: [545 528 665 400 360 365 462 401 482 467 573 671 701 851 916 1186 1076 1187 1183 1273 1341 1324 1304 1363 1265 1189 1113 1391 981 1132 761 719]
=== RUN   TestDJBHash_16
--- PASS: TestDJBHash_16 (0.01s)
        hash_test.go:57: [2033 1670 1897 1718 1850 1841 1712 1683 1710 1637 1688 1666 1686 1872 1871 1641]
=== RUN   TestDJBHash_32
--- PASS: TestDJBHash_32 (0.01s)
        hash_test.go:57: [1639 1326 1599 1395 1421 1377 1297 1207 1165 1020 977 865 760 610 737 478 394 344 298 323 429 464 415 476 545 617 711 801 926 1262 1134 1163]
=== RUN   TestSuperFastHash_16
--- PASS: TestSuperFastHash_16 (0.01s)
        hash_test.go:57: [1637 1692 1664 1664 1911 1652 1697 1980 1734 1972 1776 1692 1753 1678 1906 1767]
=== RUN   TestSuperFastHash_32
--- PASS: TestSuperFastHash_32 (0.01s)
        hash_test.go:57: [794 800 844 871 1063 796 860 1155 891 844 919 848 806 835 1086 899 843 892 820 793 848 856 837 825 843 1128 857 844 947 843 820 868]
PASS
ok      _/.../hash/hashstr    0.121s
goos: linux
goarch: amd64
BenchmarkBKDRHash1-4                 500           3207708 ns/op
BenchmarkBKDRHash2-4                 500           3239999 ns/op
BenchmarkBKDRHash3-4                 500           3283682 ns/op
BenchmarkSDBMHash-4                  300           4476090 ns/op
BenchmarkAPHash-4                    200           6059254 ns/op
BenchmarkMetroHash-4                2000           1145394 ns/op
BenchmarkJavaHash-4                  200           8656975 ns/op
BenchmarkDJBHash-4                   200           8649133 ns/op
BenchmarkSuperFastHash-4             200           9277220 ns/op
PASS
ok      _/.../hash/hashstr    20.046s
  • 冲突率：除了个别表现不好的，基本都差不多。
  • 执行效率：MetroHash明显优与其他，但是实现复杂。

结论

如上面帖子作者BYVoid所说，在信息竞赛中，为了好记忆使用BKDRHash就足够了，实现简单，效率也不差，冲突率控制好primeRK。
如果在项目中使用的话，MetroHash无可挑剔。

引用

引用的Hash函数库：
github.com/dgryski/dgohash
github.com/dgryski/go-metro
作者对hash函数很有研究，有兴趣可以去看看作者的github。

wllenyj
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
哈希算法>>入门篇
LH_fighing的博客
02-01 702
两段字符串，判断它们是否相等，朴素解法是一个一个的判断，时间复制度较大。哈希算法把字符串转换成整数，这样时间复杂度从O(N)变成了O(1)。类似于二进制，用P进制将字符串装换成整数，为避免重复，一般认为P取131或者1331，使用unsigned long long 就可以，默认对结果模一个2^64，会有溢出的情况，但影响很小。（字符串默认都是小写字母,采用26进制） 例如 str=“abcd...
哈希
qulang4358的博客
03-11 150
hash出的结果长度不会跟输入有关系，是固定的，只会跟算法有关 import hashlib # HASH某个字符串 def hashStr(strInfo): h = hashlib.sha256() h.update(strInfo.encode("utf-8")) return h.hexdigest() # HASH文件 chunkSize = 4096 # 每...
一个高效的hash str map 的实现
08-20
在使用hash_map的时候，发现他对字符串的支持不是很好，就特写了一个str hash map 的程序，设置和提取键值的性能是hash_map 的20 倍左右。 特意拿出来给大家分享，如果有改进的， 请大家指出。
Redis学习笔记(一)：Redis常用数据类型之string、hash和list的命令
08-10 145
微信公众号 redis是日常开发中最常的非关系型数据库，可以说只要是个项目基本都会使用到。常用来做数据缓存、分布式锁等等。redis的基本安装内容就不说了（在之前的博客搭建系列里面有提到redis的安装使用，如果不会的可以看一下），后面更新会说一下其配置文件中主要的配置信息。 redis常用的数据类型str、hash、list、set、zset，但是最常用的应该就是前三种，这篇文章里面就是用来记录...
uthash哈希库使用详解（增删改查和遍历，示例代码）
最新发布
吻等离子的博客
04-23 1442
uthash库是一个在C语言中实现的轻量级哈希表库，它提供了高效的哈希表数据结构和简单易用的API，能够快速地将对象插入到哈希表中，并支持快速的查找、删除等操作。简单易用：uthash库提供了简洁的API，使用方便。高效性能：底层实现采用了高效的哈希算法和数据结构，能够在大量数据中快速进行操作。灵活性：可以轻松地在任何C语言项目中使用，而无需额外的依赖。uthash是一个功能强大的哈希库，可以帮助C语言开发者轻松实现哈希表的各种操作。本文提供了uthash的基本使用教程，希望对你有所帮助。
微信小程序MD5加密以及获取当前小程序的时间戳
半盏茶. ོ
10-12 481
最近开发小程序需要用到小程序的MD5加密以及小程序的时间戳 现在分享给大家 希望大家希望
常用ASP函数代码和MD5代码
05-25
1. `Response.Write()`: 这个函数用于向客户端发送文本内容，是最基本的输出函数。例如：`Response.Write("Hello, World!")` 将在网页上显示 "Hello, World!"。 2. `Request对象`: ASP的Request对象用于获取客户端...
单向散列函数组件 for ASP
03-16
单向散列函数组件 for ASP 目前支持散列函数： SHA-1 输出为160bit MD5 输出为128bit 以后将逐步更新。Of course 免费。 类ID: iHash.HashObj 例： demo.asp: <;%@LANGUAGE=";VBSCRIPT"; ...
ts-md5：Type Script MD5实现
02-20
一个用于执行哈希的Webworker Webworker处理程序，用于请求对文件或Blob进行哈希处理 基于承诺 文件或Blob排队等待在Webworker上进行处理 根据工作 约瑟夫·迈尔斯（Joseph Myers）： : 安德烈·克鲁兹（André...
前端项目-angular-md5.zip
09-02
Angular.js 是一个流行的JavaScript框架，它为构建动态单页应用提供了强大的工具。然而，Angular.js本身并不直接提供加密功能。为了在Angular.js项目中实现数据的安全加密，我们可以引入第三方库，如`angular-md5`。...
md5封装类及调用 vc++
10-18
MD5（Message-Digest Algorithm 5）是一种广泛使用的哈希函数，它能将任意长度的信息映射为固定长度的输出，通常是一个128位的二进制数，以32位十六进制数的形式表示。在VC++环境中，我们可以使用自定义的MD5封装类...
C语言：Hash表查找字符串内容
Nemoxy的博客
11-08 2753
#include <stdio.h> #include <stdlib.h> #include <string.h> //拉链法 //链表节点，数据域存字符串 typedef struct Node{ char *str; struct Node *next; }Node; //顺序表（表头，大小） typedef struct HashTable{ //链表首地址,是链表头结点的顺序表，由于头结点是Node *,顺序表示Node ** Node **data
utHash.h接口学习实例
s651665496的专栏
02-16 1042
typedef struct ChainNode { struct ChainNode *next; char *data; // 文件路径 + 文件名 }ChainNode; typedef struct Chain { struct ChainNode *head; int count; }Chain; #define MAX_CONTEXT_LEN 50...
哈希表(uthash)详解
机会是给有准备的人
07-26 1292
哈希表uthash的使用详解
day23_LC学习计划：数据结构基础
weixin_57885126的博客
03-29 743
187.重复的DNA序列 DNA序列由一系列核苷酸组成，缩写为'A','C','G'和'T'.。 例如，"ACGAATTCCG"是一个 DNA序列 。 在研究 DNA 时，识别 DNA 中的重复序列非常有用。 给定一个表示 DNA序列 的字符串 s ，返回所有在 DNA 分子中出现不止一次的长度为10的序列(子字符串)。你可以按 任意顺序 返回答案。 示例 1： 输入：s = "AAAAACCCCCAAAAACCCCCCAAAAAGGGTTT" 输出：["AAAAACCC...
C语言哈希表学习
2440学习---LCD详解（1） LCD原理
07-22 1640
C语言标准库uthash.h 源码 uthash.h源文件地址 源码分析 缺 convenience forms HASH_FIND_INT(head,findint,out) 功能:从哈希表head中查找int类型数据findint， 参数分析： head：处理句柄，可以理解为需要进行 参考： [1]、https://blog.csdn.net/whatday/article/details/95926766 ...
⌈C⌋哈希表UT_hash_handle——如何将结构体类型作为key
Dusong_的博客
01-24 5775
用c语言实现哈希表unordered_set，并用哈希表解决 两个链表的第一个公共节点 ， 两数之和 ，前K个高频单词
C函数学习（1）：uthash哈希表
Stoneshen的博客
08-07 1489
文章目录1 哈希表简介2 uthash2.1 定义结构体2.2 键类型为int2.2.1 插入2.2.2 查找2.2.3 删除2.2.4 替换2.2.5 计数2.2.6 遍历2.2.7 示例2.3 键类型为字符串2.4 键类型为字符串2.5 键类型为任意类型 1 哈希表简介 哈希表是一种基于key-value进行访问的数据结构，可以加快查找的速度，因此在一些需要快速查找是否有重复元素的场景中，常常使用哈希表来实现。 2 uthash C语言中不存在哈希，如果自己构建则会很麻烦。第三方开源的代码中已经实现哈希
Hash构造函数的方法
愿时光能缓故人不散
04-15 1985
1.2 Hash构造函数的方法 1.2.1 直接定址法： 直接定址法是以数据元素关键字k本身或它的线性函数作为它的哈希地址，即：H（k）=k 或 H（k）=a * k + b ； (其中a,b为常数) 例1，有一个人口统计表，记录了从1岁到100岁的人口数目，其中年龄作为关键字，哈希函数取关键字本身，如图(1)： 　　 　　可以看到，当需要查找某一年龄的人数时，直接查找相应的项即可。如查找99...
用java写一个数据通过md5加盐加密的demo
06-08
好的，以下是使用Java语言编写的数据通过MD5加盐加密的Demo： ```java import java.security.MessageDigest; import java.security.NoSuchAlgorithmException; import java.security.SecureRandom; public class Md5SaltDemo { public static void main(String[] args) throws NoSuchAlgorithmException { // 需要加密的数据 String data = "hello world"; // 生成随机盐值 byte[] salt = new byte[16]; SecureRandom random = new SecureRandom(); random.nextBytes(salt); // 将数据和盐值拼接，并计算 MD5 值 MessageDigest md5 = MessageDigest.getInstance("MD5"); md5.update((data + new String(salt)).getBytes()); byte[] digest = md5.digest(); // 将计算出的 MD5 值转换为十六进制字符串 StringBuilder sb = new StringBuilder(); for (byte b : digest) { sb.append(String.format("%02x", b)); } String hashStr = sb.toString(); System.out.println("盐值：" + bytesToHex(salt)); System.out.println("加密后的数据：" + hashStr); } private static final char[] HEX_ARRAY = "0123456789abcdef".toCharArray(); public static String bytesToHex(byte[] bytes) { char[] hexChars = new char[bytes.length * 2]; for (int i = 0; i < bytes.length; i++) { int v = bytes[i] & 0xFF; hexChars[i * 2] = HEX_ARRAY[v >>> 4]; hexChars[i * 2 + 1] = HEX_ARRAY[v & 0x0F]; } return new String(hexChars); } } ``` 运行上面的代码，输出结果如下： ``` 盐值：ec3a2c1c8b7b7a01e1a4d3e3f6f4e5c1 加密后的数据：a5c4bbb0c9d8c497544d8a2b9dcf0c0f ``` 以上代码生成了一个长度为 16 字节的随机盐值，将数据和盐值拼接成新的字符串，再计算该字符串的 MD5 值，并输出盐值和加密后的数据。由于盐值是随机生成的，因此每次执行结果都会不同。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值