布隆过滤器之HASH算法（Java版）

最新推荐文章于 2024-09-27 12:50:24 发布
最新推荐文章于 2024-09-27 12:50:24 发布
阅读量2.1k 收藏 4
点赞数
分类专栏： 优化缓存技术 分布式技术 文章标签： bloom hash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzygis/article/details/101112678
版权

布隆过滤器使用二进制向量结合hash函数来记录任意一条数据是否已经存在于集合中。
布隆过滤器的执行流程为：

  • 首先申请包含SIZE个bit位的Bit集合，并将所有Bit置0。
  • 然后使用数种（k）不同的哈希函数对目标数据进行哈希计算并得到k个哈希值（确保哈希值不超过SIZE大小），然后将Bit集合中以哈希值为下标所处的bit值置为1，由于使用了k个哈希函数，因此记录一条数据的信息将在Bit集合中把k个bit值置为1。
  • 由于哈希函数的稳定性，任意两条相同的数据在Bit集合中所对应的k个bit位置是完全相同的。那么在检测某一条数据是否已经在Bit集合中有记录时，只需检测该条数据的k个哈希值在Bit集合中对应的位置的bit是否均已被标记为1，相反的只要其存在一个哈希值对应的bit位置未被标记为1，则证明该值未被记录过。

优缺点

  • 优点
    时间复杂度为O(n)，且布隆过滤器不需要存储元素本身，使用位阵列，占用空间也很小。
  • 缺点
    通过布隆过滤，我们能够准确判断一个数不存在于某个集合中，但对于存在于集合中这个结论，布隆过滤会有误报（可能存在两组不同数据但其多个哈希值完全一样的情况）。但是通过控制Bit集合的大小（即SIZE）以及哈希函数的个数，可以将出现冲突的概率控制在极小的范围内，或者通过额外建立白名单的方式彻底解决哈希冲突问题。

常用的hash算法如下：

package com.lyz.hash;
 
/**
 * Hash算法大全<br>
 * 推荐使用FNV1算法
 * @author liuyazhuang
 */
public class HashAlgorithms {
	/**
	 * 加法hash
	 * 
	 * @param key
	 *            字符串
	 * @param prime
	 *            一个质数
	 * @return hash结果
	 */
	public static int additiveHash(String key, int prime) {
		int hash, i;
		for (hash = key.length(), i = 0; i < key.length(); i++)
			hash += key.charAt(i);
		return (hash % prime);
	}
 
	/**
	 * 旋转hash
	 * 
	 * @param key
	 *            输入字符串
	 * @param prime
	 *            质数
	 * @return hash值
	 */
	public static int rotatingHash(String key, int prime) {
		int hash, i;
		for (hash = key.length(), i = 0; i < key.length(); ++i)
			hash = (hash << 4) ^ (hash >> 28) ^ key.charAt(i);
		return (hash % prime);
		// return (hash ^ (hash>>10) ^ (hash>>20));
	}
	// 替代：
	// 使用：hash = (hash ^ (hash>>10) ^ (hash>>20)) & mask;
	// 替代：hash %= prime;
 
	/**
	 * MASK值，随便找一个值，最好是质数
	 */
	static int M_MASK = 0x8765fed1;
 
	/**
	 * 一次一个hash
	 * 
	 * @param key
	 *            输入字符串
	 * @return 输出hash值
	 */
	public static int oneByOneHash(String key) {
		int hash, i;
		for (hash = 0, i = 0; i < key.length(); ++i) {
			hash += key.charAt(i);
			hash += (hash << 10);
			hash ^= (hash >> 6);
		}
		hash += (hash << 3);
		hash ^= (hash >> 11);
		hash += (hash << 15);
		// return (hash & M_MASK);
		return hash;
	}
 
	/**
	 * Bernstein's hash
	 * 
	 * @param key
	 *            输入字节数组
	 * @param level
	 *            初始hash常量
	 * @return 结果hash
	 */
	public static int bernstein(String key) {
		int hash = 0;
		int i;
		for (i = 0; i < key.length(); ++i)
			hash = 33 * hash + key.charAt(i);
		return hash;
	}
 
	/**
	 * Universal Hashing
	 */
	public static int universal(char[] key, int mask, int[] tab) {
		int hash = key.length, i, len = key.length;
		for (i = 0; i < (len << 3); i += 8) {
			char k = key[i >> 3];
			if ((k & 0x01) == 0)
				hash ^= tab[i + 0];
			if ((k & 0x02) == 0)
				hash ^= tab[i + 1];
			if ((k & 0x04) == 0)
				hash ^= tab[i + 2];
			if ((k & 0x08) == 0)
				hash ^= tab[i + 3];
			if ((k & 0x10) == 0)
				hash ^= tab[i + 4];
			if ((k & 0x20) == 0)
				hash ^= tab[i + 5];
			if ((k & 0x40) == 0)
				hash ^= tab[i + 6];
			if ((k & 0x80) == 0)
				hash ^= tab[i + 7];
		}
		return (hash & mask);
	}
 
	/**
	 * Zobrist Hashing
	 */
	public static int zobrist(char[] key, int mask, int[][] tab) {
		int hash, i;
		for (hash = key.length, i = 0; i < key.length; ++i)
			hash ^= tab[i][key[i]];
		return (hash & mask);
	}
 
	// LOOKUP3
	// 见Bob Jenkins(3).c文件
 
	// 32位FNV算法
	static int M_SHIFT = 0;
 
	/**
	 * 32位的FNV算法
	 * 
	 * @param data
	 *            数组
	 * @return int值
	 */
	public static int FNVHash(byte[] data) {
		int hash = (int) 2166136261L;
		for (byte b : data)
			hash = (hash * 16777619) ^ b;
		if (M_SHIFT == 0)
			return hash;
		return (hash ^ (hash >> M_SHIFT)) & M_MASK;
	}
 
	/**
	 * 改进的32位FNV算法1
	 * 
	 * @param data
	 *            数组
	 * @return int值
	 */
	public static int FNVHash1(byte[] data) {
		final int p = 16777619;
		int hash = (int) 2166136261L;
		for (byte b : data)
			hash = (hash ^ b) * p;
		hash += hash << 13;
		hash ^= hash >> 7;
		hash += hash << 3;
		hash ^= hash >> 17;
		hash += hash << 5;
		return hash;
	}
 
	/**
	 * 改进的32位FNV算法1
	 * 
	 * @param data
	 *            字符串
	 * @return int值
	 */
	public static int FNVHash1(String data) {
		final int p = 16777619;
		int hash = (int) 2166136261L;
		for (int i = 0; i < data.length(); i++)
			hash = (hash ^ data.charAt(i)) * p;
		hash += hash << 13;
		hash ^= hash >> 7;
		hash += hash << 3;
		hash ^= hash >> 17;
		hash += hash << 5;
		return hash;
	}
 
	/**
	 * Thomas Wang的算法，整数hash
	 */
	public static int intHash(int key) {
		key += ~(key << 15);
		key ^= (key >>> 10);
		key += (key << 3);
		key ^= (key >>> 6);
		key += ~(key << 11);
		key ^= (key >>> 16);
		return key;
	}
 
	/**
	 * RS算法hash
	 * 
	 * @param str
	 *            字符串
	 */
	public static int RSHash(String str) {
		int b = 378551;
		int a = 63689;
		int hash = 0;
		for (int i = 0; i < str.length(); i++) {
			hash = hash * a + str.charAt(i);
			a = a * b;
		}
		return (hash & 0x7FFFFFFF);
	}
	/* End Of RS Hash Function */
 
	/**
	 * JS算法
	 */
	public static int JSHash(String str) {
		int hash = 1315423911;
		for (int i = 0; i < str.length(); i++) {
			hash ^= ((hash << 5) + str.charAt(i) + (hash >> 2));
		}
		return (hash & 0x7FFFFFFF);
	}
	/* End Of JS Hash Function */
 
	/**
	 * PJW算法
	 */
	public static int PJWHash(String str) {
		int BitsInUnsignedInt = 32;
		int ThreeQuarters = (BitsInUnsignedInt * 3) / 4;
		int OneEighth = BitsInUnsignedInt / 8;
		int HighBits = 0xFFFFFFFF << (BitsInUnsignedInt - OneEighth);
		int hash = 0;
		int test = 0;
		for (int i = 0; i < str.length(); i++) {
			hash = (hash << OneEighth) + str.charAt(i);
 
			if ((test = hash & HighBits) != 0) {
				hash = ((hash ^ (test >> ThreeQuarters)) & (~HighBits));
			}
		}
		return (hash & 0x7FFFFFFF);
	}
	/* End Of P. J. Weinberger Hash Function */
 
	/**
	 * ELF算法
	 */
	public static int ELFHash(String str) {
		int hash = 0;
		int x = 0;
		for (int i = 0; i < str.length(); i++) {
			hash = (hash << 4) + str.charAt(i);
			if ((x = (int) (hash & 0xF0000000L)) != 0) {
				hash ^= (x >> 24);
				hash &= ~x;
			}
		}
		return (hash & 0x7FFFFFFF);
	}
	/* End Of ELF Hash Function */
 
	/**
	 * BKDR算法
	 */
	public static int BKDRHash(String str) {
		int seed = 131; // 31 131 1313 13131 131313 etc..
		int hash = 0;
		for (int i = 0; i < str.length(); i++) {
			hash = (hash * seed) + str.charAt(i);
		}
		return (hash & 0x7FFFFFFF);
	}
	/* End Of BKDR Hash Function */
 
	/**
	 * SDBM算法
	 */
	public static int SDBMHash(String str) {
		int hash = 0;
		for (int i = 0; i < str.length(); i++) {
			hash = str.charAt(i) + (hash << 6) + (hash << 16) - hash;
		}
		return (hash & 0x7FFFFFFF);
	}
	/* End Of SDBM Hash Function */
 
	/**
	 * DJB算法
	 */
	public static int DJBHash(String str) {
		int hash = 5381;
		for (int i = 0; i < str.length(); i++) {
			hash = ((hash << 5) + hash) + str.charAt(i);
		}
		return (hash & 0x7FFFFFFF);
	}
	/* End Of DJB Hash Function */
 
	/**
	 * DEK算法
	 */
	public static int DEKHash(String str) {
		int hash = str.length();
		for (int i = 0; i < str.length(); i++) {
			hash = ((hash << 5) ^ (hash >> 27)) ^ str.charAt(i);
		}
		return (hash & 0x7FFFFFFF);
	}
	/* End Of DEK Hash Function */
 
	/**
	 * AP算法
	 */
	public static int APHash(String str) {
		int hash = 0;
		for (int i = 0; i < str.length(); i++) {
			hash ^= ((i & 1) == 0) ? ((hash << 7) ^ str.charAt(i) ^ (hash >> 3))
					: (~((hash << 11) ^ str.charAt(i) ^ (hash >> 5)));
		}
		// return (hash & 0x7FFFFFFF);
		return hash;
	}
	/* End Of AP Hash Function */
 
	/**
	 * JAVA自己带的算法
	 */
	public static int java(String str) {
		int h = 0;
		int off = 0;
		int len = str.length();
		for (int i = 0; i < len; i++) {
			h = 31 * h + str.charAt(off++);
		}
		return h;
	}
 
	/**
	 * 混合hash算法，输出64位的值
	 */
	public static long mixHash(String str) {
		long hash = str.hashCode();
		hash <<= 32;
		hash |= FNVHash1(str);
		return hash;
	}
}

参考：

https://www.cnblogs.com/arkia123/archive/2012/10/30/2743850.html

https://www.jianshu.com/p/d0600b0d432d

https://www.cnblogs.com/caoke/p/10818900.html

 

海量去重hash与布隆过滤器
Aaron.无剑
06-19 361
目录1 介绍2 常见的解决方案3 set/map/unorder_map3.1 set/map原理3.2 unorder_map原理4 布隆过滤器4.1 定义4.2 原理与性质4.3 具体的工程使用 1 介绍 本文章主要介绍从海量数据中查询某个字符串是否存在。 应用： 1 在使⽤word⽂档时，word如何判断某个单词是否拼写正确？ 2 ⽹络爬⾍程序，怎么让它不去爬相同的url⻚⾯？ 3 允许有误差 垃圾邮件（短信）过滤算法如何设计？ 4 允许有误差 公安办案时，如何判断某嫌疑⼈是否在⽹逃名单中？控制误差
Python+Redis实现布隆过滤器
01-21
布隆过滤器是什么 　布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比...
布隆过滤器及常用的字符串哈希算法
月光骆驼的博客
06-10 3763
先把这个元素作为k个哈希函数的输入，拿到k个数组位置，然后把所有的这些位置置为1。
Java布隆过滤器（Bloom Filter）
最新发布
精益求精
09-27 1318
布隆过滤器是一种高效的数据结构，用于判断一个元素是否属于一个集合，具有快速查询和低存储需求的特点。它基于哈希函数和位数组的概念，常用于大规模数据的查找和去重操作。
算法【哈希】 | 哈希【布隆过滤器】
weixin_45926547的博客
03-03 526
文章目录一、概念1.1 简介1.2 原理1.3 复杂度1.4 使用步骤1.5 扩展和应用二、构建bit数组 一、概念 1.1 简介 布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。 可用于检索一个元素是否在一个集合中； 优点：空间效率和查询时间都远远超过一般的算法； 缺点：有一定的误识别率和删除困难； 1.2 原理 当元素被加入到集合内部，通过K个散列函数将改元素映射成一个位数组中的K个点，且将其置为1；当我们检索元素时，只需通过
布隆过滤器：基于哈希函数的原理、应用解析
无敌岩雀的博客
04-01 1694
布隆过滤器（Bloom Filter） 是一种空间效率极高的概率型数据结构，它利用位图和哈希函数来快速判断一个元素是否属于某个集合。布隆过滤器不是传统意义上的过滤器，它不能完整地存储数据，而是以一种紧凑的方式表示数据可能存在的集合。
哈希算法篇 - 布隆过滤器
JavaPub
09-14 640
文章目录前言多种哈希函数介绍代码C代码Java代码：BKDR Hash 前言 本文继上一篇布隆过滤器续写 ： 布隆过滤器：公众号地址随时看 多种哈希函数介绍 常用的字符串Hash函数还有ELFHash，APHash等等，都是十分简单有效的方法。这些函数使用位运算使得每一个字符都对最后的函数值产生影响。另外还有以MD5和SHA1为代表的杂凑函数，这些函数几乎不可能找到碰撞。 常用字符串哈希函数有 BKDRHash，APHash，DJBHash，JSHash，RSHash，SDBMHash，PJWHash，
Hash（哈希/散列）和Bloom Filter(布隆过滤器)
coderge's CSDN Blog.
10-25 1387
布隆过滤器背后的数学原理在于两个完全随机的数字冲突的概率很小，因此，可以在很小的误识别率条件下，用很少的空间存储大量信息。常见的补救误识别的办法是再在建立一个小的白名单，存储那些可能被误判的信息。由于布隆过滤器中只有简单的算术运算,因此它的速度很快，使用方便。
布隆过滤器与Hash算法详解
"这篇文档介绍了BloomFilter，一种基于Hash算法的数据结构，用于高效地判断一个元素是否可能存在于一个大规模集合中。Bloom Filter由布隆于1970年提出，具有空间效率高、查询速度快的特点，但存在一定的误识别率。...
python实现布隆过滤器及原理解析
01-21
在学习redis过程中提到一个缓存击穿的问题， 书中参考的解决方案之一是使用布隆过滤器， 那么就有必要来了解一下什么是布隆过滤器。在参考了许多博客之后， 写个总结记录一下。 一、布隆过滤器简介 什么是布隆过滤器...
algorithm_coding:推荐算法、相似度算法、布隆过滤器、均值算法、一致性Hash、数据结构、leetcode练习
05-29
bloom_filter_code [布隆过滤器] 1: bloom 布隆过滤器 consistent_hash_code [一致性Hash算法] 1: consistent 一致性Hash算法 leet_code [leet_code刷题] 1: leet_code刷题 heap [堆] 1: max_heap_test 大顶推 ...
Java实现布隆过滤器的方法步骤
08-26
布隆过滤器是一种概率型数据...总的来说，Java实现布隆过滤器的关键在于合理选择位数组的大小和哈希函数，以平衡空间占用和误判率。通过这种方式，可以在有限的空间内处理大规模数据的近似查询，从而提高系统的效率。
关于海量数据去重的Hash讲解-布隆过滤器-分布式一致性 hash
asdefmdm的博客
06-26 458
hash，布隆过滤器，分布式-一致性hash
哈希函数之布隆过滤器
aier0323305的博客
05-10 144
待写 转载于:https://www.cnblogs.com/Booker808-java/p/9021493.html
数据架构与算法-布隆过滤器(Bloom Filter)详解—基于多hash的概率查找思想
嵌入式Linux内核的博客
12-08 596
前言：布隆过滤器(Bloom Filter)是由布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率（假正例False positives，即Bloom Filter报告某一元素存在于某集合中，但是实际上该元素并不在集合中）和删除困难，但是没有识别错误的情形（即假反例False negatives，如果某个元素确实没.
布隆过滤器与一致性哈希算法
wwxy1995的博客
12-02 528
五、一致性哈希的基本概念 一致性Hash算法也是使用取模的方法，只是，刚才描述的取模法是对服务器的数量进行取模，而一致性Hash算法是对2^32取模，什么意思呢？简单来说，一致性Hash算法将整个哈希值空间组织成一个虚拟的圆环，如假设某哈希函数H的值空间为0-2^32-1（即哈希值是一个32位无符号整形），整个哈希环如下： 整个空间按顺时针方向组织，圆环的正上方的点代表0，0点右侧的第一个...
布隆过滤器中的组合哈希函数
qq_29047189的博客
06-26 852
背景 之前写过布隆过滤器使用组合哈希函数判定值是否在集合中，这样可以减少内存占用空间，提高空间使用率，具体是怎么做的呢？想了几个简单场景，做个思想实验记录如下。 哈希函数与冲突率 这里有一点需要强调，不要把哈希函数想成具体的实现，要想成理想化的一个黑盒，就是我指定一个范围（1到N），经过HASH(X)的值等于从范围1到N中的任意值的概率是1/N。 设想有一个阵列位（例如一个字节有8个阵列位），可用来存放哈希值，那么： 如果阵列位的容量大小是1，那么存放一个哈希值后，再存放新哈希值的冲突概率是100%（实际
布隆过滤器(Bloom Filter)算法
烟雨gps
03-13 1920
布隆过滤器原理 开发一个电商项目，因为数据量一直在增加(已达亿级)，所以需要重构之前开发好的秒杀功能，为了更好的支持高并发，在验证用户是否重复购买的环节，就考虑用布隆过滤器。 也顺便更加深入的去了解下布隆过滤器的原理，感觉还是蛮有意思的，这一连串的公式不静下心来思考，很容易被绕晕。 一、概述 1、什么是布隆过滤器 本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构，特点是高效地插...
哈希函数与布隆过滤器
hch977的博客
01-16 406
认识哈希函数 Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入，通过散列算法，变换成固定长度的输出，该输出就是散列值。 这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来确定唯一的输入值。 简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。 黑名单系统–布隆过滤器 适用场景：有大量黑名单需要存储，同时我们需要快速识别是否在黑名单中。布隆过滤器大量可以减少存储空间，同时快速识别。 原理
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

智能体格

你的鼓将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值