左神算法笔记07：哈希函数与哈希表

哈希函数

1. 输入域无穷
2. 输出域S有限，比如MD5的返回值是0~2的64次方-1
3. 相同的输入，一定返回相同的输出（不随机）
4. 不同的输入，可能有相同的输出（哈希碰撞），但是概率非常低
5. 每一个输出都均匀离散（最重要的性质）
6. 若输入域通过哈希函数得到的输出是均匀离散的，那再mod一个M，得到的输出在0~M-1上野是均匀离散的

利用哈希函数的均匀离散性

哈希表

实现参考java1.7

设计RandomPool结构

设计一种结构，在该结构中有如下三个功能：

1. insert(key):将某个key加入到该结构，做到不重复加入
2. delete(key):将原来在结构中的某个key移除
3. getRandom():等概率返回结构中的任何一个key

要求：时间复杂度都是O(1)

思路：

1. 设计两个hash表，第一个hash表对应(key, value)，第二个哈希表对应(value, key)。再设置一个变量size，表示hash表中有多少元素。

private HashMap<K, Integer> keyIndexMap;
private HashMap<Integer, K> indexKeyMap;
private int size;

//初始化
public Pool()
{
	this.keyIndexMap = new HashMap<K, Integer>();
	this.indexKeyMap = new HashMap<Integer, K>();
	this.size = 0;
}

2. insert操作

public void insert(K key)
{
	if(!this.keyIndexMap.containsKey(key))
	{
		this.keyIndexMap.put(key, size);
		this.indexKeyMap.put(size, key);
		size++;
	}
}

3. delete操作
   删除操作中，为了保证以O(1)随机返回任何一个key，这里在删除任何一个key时，都用最后一个key代替这个key，然后删除最后一个key。

public void delete(K key)
{
	if(this.keyIndexMap.containsKey(key))
	{
		int deleteIndex = this.keyIndexMap.get(key);//删除位置的索引
		int lastIndex = --this,size;//最后一个key的索引
		K lastKey = this.indexKeyMap.get(lastIndex);//最后一个key
		this.keyIndexMap.put(lastKey, deleteIndex);
		this.indexKeyMap.put(deleteIndex, lastKey);
		this.keyIndexMap.remove(key);
		this.indexKeyMap.remove(lastIndex);
	}
}

4. getRandom操作

public K getRandom()
{
	if(this.size == 0)
	{
		return null;
	}
	//等概率0-size-1
	int randomIndex = (int)(Math.random() * this.size);
	return this.indexKeyMap.get(randomIndex);
}

详解布隆过滤器

解决类似于黑名单，爬虫等问题

特点：

1. 没有删除行为，只有加入和查询行为
2. 做到使用空间很少，允许一定程度的失误率
3. 布隆过滤器可能将白名单的用户当成了黑名单，但不会将黑名单的用户当成白名单
4. 可以通过人为设计，将失误率降为万分之一，但不可避免。

讲布隆过滤器之前，先了解一下位图

位图bit arr,bit map

int[100]：占用400个字节
long[100]：占用800个字节
bit[100]：占用100/8个字节

public static void main(String[] args){
        //a实际上占32bit
        int a = 0;

        //32bit * 10 -> 320bits
        //arr[0] 可以表示0~31位bit
        //arr[1] 可以表示32~63位bit
        int[] arr = new int[10];

        //想取得第178个bit的状态
        int i = 178;

        //定位出第178位所对应的数组元素是哪个
        int numIndex = i / 32;
        //定位出相应数组元素后，需要知道是数组元素的哪一位
        int bitIndex = i % 32;

        //拿到第178位的状态
        int s = ( (arr[numIndex] >> (bitIndex))  & 1);

        //把第i位的状态改成1
        arr[numIndex] = arr[numIndex] | (1<<(bitIndex));

        //把第i位的状态改成0
        arr[numIndex] = arr[numIndex] & (~ (1 << bitIndex));

        //把第i位拿出来
        int bit = (arr[i/32] >> (i%32)) & 1;

    }

布隆过滤器就是一个大位图

概念

公式

详解一致性哈希原理

没有mod，用于负载均衡

针对如上缺点，使用虚拟节点技术解决

学习链接