【10】哈希函数和哈希表

目录

一.哈希函数

二.涉及RandomPool结构   

三.布隆过滤器（一个集合行为且没有删除行为）

四.详解一致性哈希原理

经典

一致性哈希

 虚拟节点技术

---

一.哈希函数

1.  输入可以是无穷，输出是一个有限范围
2. 相同的输入一定映射到相同的输出（不随机）
3. 存在不同的输入但相同的输出，称为哈希冲突

哈希函数重要性质：如果输入经过哈希函数映射后，是均匀分布的，那么当对这些映射结果取模后，也任然是均匀分布的。 

哈希函数如果有离线托管技术，可以做到哈希表在使用过程中增删改查O(1)，但是理论上还是O(N)的。

二.涉及RandomPool结构   

 3       0

	public static class Pool<K> {
		private HashMap<K, Integer> keyIndexMap;
		private HashMap<Integer, K> indexKeyMap;
		private int size;

		public Pool() {
			this.keyIndexMap = new HashMap<K, Integer>();
			this.indexKeyMap = new HashMap<Integer, K>();
			this.size = 0;
		}

		public void insert(K key) {
			if (!this.keyIndexMap.containsKey(key)) {
				this.keyIndexMap.put(key, this.size);
				this.indexKeyMap.put(this.size++, key);
			}
		}

		public void delete(K key) {
			if (this.keyIndexMap.containsKey(key)) {
				int deleteIndex = this.keyIndexMap.get(key);
				int lastIndex = --this.size;
				K lastKey = this.indexKeyMap.get(lastIndex);
				this.keyIndexMap.put(lastKey, deleteIndex);
				this.indexKeyMap.put(deleteIndex, lastKey);
				this.keyIndexMap.remove(key);
				this.indexKeyMap.remove(lastIndex);
			}
		}

		public K getRandom() {
			if (this.size == 0) {
				return null;
			}
			int randomIndex = (int) (Math.random() * this.size); // 0 ~ size -1
			return this.indexKeyMap.get(randomIndex);
		}

	}

	public static void main(String[] args) {
		Pool<String> pool = new Pool<String>();
		pool.insert("zuo");
		pool.insert("cheng");
		pool.insert("yun");
		System.out.println(pool.getRandom());
		System.out.println(pool.getRandom());
		System.out.println(pool.getRandom());
		System.out.println(pool.getRandom());
		System.out.println(pool.getRandom());
		System.out.println(pool.getRandom());

	}

三.布隆过滤器（一个集合行为且没有删除行为）

假设这里有100亿个URL(64Byte)，如果直接使用HashSet存储代价比较大。 

过滤存在两种过滤：

1.黑名单的 => 误报成白名单

2.白名单的 => 误报成黑名单 （布隆过滤器只存在这类问题，但是可以将失误率降低到很低，但总归是存在的）

位图：bit[] 一个元素只占用1bit 

 1.黑 => 白 （X） K个Hash函数是独立的，如果当初加入黑名单，生成的是一组位置都描黑，那么查询时Hash函数还是生成同一组位置。所以，如果加入过，那么查询时全部位置必然是黑的。

2.白 => (黑) （√）失误率取决于位图的大小，K个Hash函数相当于在样本上采集了K个特征点，但是不能定的特别大，很容易发生取模后的位置重叠。所以。样本量和失误率 => m => Hash函数

 

四.详解一致性哈希原理

经典

一致性哈希

 问题：

1.怎么确保机器分布均匀（为什么能保证3台机器刚好分1/3）

2.怎么做到负载均衡 （怎么做到加入的机器可以加入到最长的那段进行负载分担）

 虚拟节点技术