海量数据去重hash和布隆过滤器

类似缓存雪崩和缓存击穿问题参考这篇作者的博客
缓存击穿和缓存雪崩等问题
一般来说可以使用红黑树来解决问题，但是红黑色对于字符串比较存在缺陷，当字符串过长时红黑树
还要匹配字符串，这样效率就会非常慢
其中c++标准库（STL）中的set和map结构都是采⽤红⿊树实现的，它增删改查的时间复杂度是O(logn)

// 这个是截取 nginx 的红⿊树的实现，这段代码是 insert 操作中的⼀部分，执⾏完这个函数还
需要检测插⼊节点后是否平衡（主要是看他的⽗节点是否也是红⾊节点）
// 调⽤ ngx_rbtree_insert_value 时，temp传的参数为 红⿊树的根节点，node传的参数为
待插⼊的节点
void ngx_rbtree_insert_value(ngx_rbtree_node_t*temp,ngx_rbtree_node_t*node,ngx_rbtree_node_t*sentinel)
{
		ngx_rbtree_node_t **p;
	for ( ;; ) {
		p = (node->key < temp->key) ? &temp->left : &temp->right;// 这⾏很重要
		if (*p == sentinel) {
			break;
		}
		temp = *p;
	}
		*p = node;
		node->parent = temp;
		node->left = sentinel;
		node->right = sentinel;
		ngx_rbt_red(node);
}
// 不插⼊相同节点 如果插⼊相同 让它变成修改操作 此时 红⿊树当中就不会有相同的key了
// 定时器 key 时间戳
// 如果我们插⼊key = 12，如上图红⿊树，12号节点应该在哪个位置？ 如果我们要实现插⼊存在
// 的节点变成修改操作，该怎么改上⾯的函数
void ngx_rbtree_insert_value_ex(ngx_rbtree_node_t*temp,ngx_rbtree_node_t*node,ngx_rbtree_node_t*sentinel)
{
	ngx_rbtree_node_t **p;
	for ( ;; ) {
	// {-------------add------------- 这里可以直接覆盖旧的值也可以选择插入新的重复key
		if (node->key == temp->key) {
			temp->value = node->value;
			return;
		}
	// }-------------add-------------
	p = (node->key < temp->key) ? &temp->left : &temp->right;// 这⾏很重要
	if (*p == sentinel) {
		break;
	}
		temp = *p;
	}
	*p = node;
	node->parent = temp;
	node->left = sentinel;
	node->right = sentinel;
	ngx_rbt_red(node);
}

在实际应⽤中，我们确定n和p，通过上⾯的计算算出m和k；也可以在⽹站上选取合适的值：
根据n和p计算m和k：https://hur.st/bloomfilter/
已知k，如何选择k个hash函数？

// 采⽤⼀个hash函数，给hash传不同的种⼦偏移值
// #define MIX_UINT64(v) ((uint32_t)((v>>32)^(v)))
uint64_t hash1 = MurmurHash2_x64(key, len, Seed);
uint64_t hash2 = MurmurHash2_x64(key, len, MIX_UINT64(hash1));
for (i = 0; i < k; i++) // k 是hash函数的个数
{
 Pos[i] = (hash1 + i*hash2) % m; // m 是位图的⼤⼩
}
// 通过这种⽅式来模拟 k 个hash函数 跟我们前⾯开放寻址法 双重hash是⼀样的思

应⽤源码：http://gitlab.0voice.com/0voice/bloomfilter/tree/master