1. unordered系列关联式容器
在C++98
中,
STL
提供了底层为红黑树结构的一系列关联式容器,在查询时效率可达到log2N,即最差情况下需要比较红黑树的高度次,当树中的节点非常多时,查询效率也不理想。最好的查询是,进行很少的比较次数就能够将元素找到,因此在C++11
中,
STL
又提供了
4
个
unordered
系列的关联式容器,这四个容器与红黑树结构的关联式容器使用方式基本类似,只是其底层结构不同,本文中只对unordered_map
和unordered_set进行介绍,
unordered_multimap
和
unordered_multiset大家可以类比着学习,
查看文档介绍。
1.1 unordered_map
1.1.1 unordered_map
的文档介绍
unordered_map
在线文档说明
1. unordered_map
是存储
<key, value>
键值对的关联式容器,其允许通过
keys
快速的索引到与其对应的value。
2.
在
unordered_map
中,键值通常用于惟一地标识元素,而映射值是一个对象,其内容与此键关联。键和映射值的类型可能不同。
3.
在内部
,unordered_map
没有对
<kye, value>
按照任何特定的顺序排序
,
为了能在常数范围内找到
key
所对应的value
,
unordered_map
将相同哈希值的键值对放在相同的桶中。
4. unordered_map
容器通过
key
访问单个元素要比
map
快,但它通常在遍历元素子集的范围迭代方面效率较低。
5. unordered_maps
实现了直接访问操作符
(operator[])
,它允许使用
key
作为参数直接访问
value
。
6.
它的迭代器至少是前向迭代器。
1.1.2 unordered_map
的接口说明
1.
unordered_map
的构造
![](https://img-blog.csdnimg.cn/direct/18e3f138f0bf4161a97694f1e38f7f96.png)
2. unordered_map的容量
另外也有cbegin和cend,迭代器的意思和之前都是一样的。
注意:该函数中实际调用哈希桶的插入操作,用参数
key
与
V()
构造一个默认值往底层哈希桶中插入,如果key
不在哈希桶中,插入成功,返回
V()
,插入失败,说明
key
已经在哈希桶中,将
key
对应的
value
返回。
6.
unordered_map
的修改操作
![](https://img-blog.csdnimg.cn/direct/55c71b6e5819438aa26c4781632d8fb7.png)
7.
unordered_map
的桶操作
![](https://img-blog.csdnimg.cn/direct/a7a63acc41f04e0ab5bff7dc239df41d.png)
1.2 unordered_set
我之前写过一篇set和map的文章,介绍了set和map的区别,上面又讲了,unordered——map的用法,
unordered_set大差不差,大家自行阅读文章,学习这一部分。
参见
unordered_set
在线文档说明
下面我们就做一些题目来感受一下,哈希的魅力。
#include <iostream>
#include <vector>
#include <map>
#include <unordered_map>
using namespace std;
class Solution {
public:
int repeatedNTimes(vector<int>& nums) {
size_t N = nums.size() / 2;
unordered_map<int, int > m;
// map会给初始值嘛?
for (auto e : nums)
{
m[e]++;
}
for (auto& i : m)
{
if (i.second == N)
{
return i.first;
}
}
}
};
int main()
{
Solution ans;
vector<int> num { 1,2,3,3 };
int b;
b = ans.repeatedNTimes(num);
cout << b << endl;
return 0;
}
#include <iostream>
#include <vector>
#include <unordered_set>
using namespace std;
class Solution {
public:
vector<int> intersection(vector<int>& nums1, vector<int>& nums2) {
// 用unordered_set对nums1中的元素去重
unordered_set<int> s1;
for (auto e : nums1)
s1.insert(e);
// 用unordered_set对nums2中的元素去重
unordered_set<int> s2;
for (auto e : nums2)
s2.insert(e);
vector<int> vRet;
for (auto e : s1)
{
if (s2.find(e) != s2.end())
{
vRet.push_back(e);
}
}
return vRet;
}
};
int main()
{
vector<int> nums1 { 1,2,3,4 };
vector<int> nums2 { 2,3,4,5 };
Solution ans;
ans.intersection(nums1, nums2);
for (auto e : ans.intersection(nums1, nums2))
{
cout << e <<endl;
}
return 0;
}
好的,哈希讲到这里已经够初学者使用了,无论是去刷leecode题,还是去做一些程序代码作业。我们下面就是去说一说这该死的底层实现。
2. 底层结构
unordered
系列的关联式容器之所以效率比较高,是因为其底层使用了哈希结构。
2.1
哈希概念
顺序结构以及平衡树中,元素关键码与其存储位置之间没有对应的关系,因此在
查找一个元素时,必须要经
过关键码的多次比较
。
顺序查找时间复杂度为
O(N)
,平衡树中为树的高度,即
O(
)
,搜索的效率取决于搜索过程中元素的比较次数。
理想的搜索方法:可以
不经过任何比较,一次直接从表中得到要搜索的元素
。
如果构造一种存储结构,通过
某种函数
(hashFunc)
使元素的存储位置与它的关键码之间能够建立一一映射的关系,那么在查找时通过该函
数可以很快找到该元素
。
当向该结构中:
插入元素 根据待插入元素的关键码,以此函数计算出该元素的存储位置并按此位置进行存放
搜索元素 对元素的关键码进行同样的计算,把求得的函数值当做元素的存储位置,在结构中按此位置取元素比较,若关键码相等,则搜索成功
该方式即为哈希
(
散列
)
方法,
哈希方法中使用的转换函数称为哈希
(
散列
)
函数,构造出来的结构称为哈希表
(Hash Table)(
或者称散列表
)
例如:数据集合
{1
,
7
,
6
,
4
,
5
,
9}
;
哈希函数设置为:
hash(key) = key % capacity
; capacity
为存储元素底层空间总的大小。
![](https://img-blog.csdnimg.cn/direct/0f5251f771d445c2aa04f6bad36e762e.png)
用该方法进行搜索不必进行多次关键码的比较,因此搜索的速度比较快
问题:按照上述哈希方式,向集合中插入元素44
,会出现什么问题?
没错就是
2.2
哈希冲突
对于两个数据元素的关键字 和
(i != j)
,有
!=
,但有:
Hash( ) == Hash( )
,即:
不同关键字通过
相同哈希哈数计算出相同的哈希地址,该种现象称为哈希冲突或哈希碰撞
。
把具有不同关键码而具有相同哈希地址的数据元素称为
“
同义词
”
。
发生哈希冲突该如何处理呢?
2.3
哈希函数
引起哈希冲突的一个原因可能是:
哈希函数设计不够合理
。
哈希函数设计原则
:
哈希函数的定义域必须包括需要存储的全部关键码,而如果散列表允许有
m
个地址时,其值域必须在
0到m-1
之间,哈希函数计算出来的地址能均匀分布在整个空间中 ,哈希函数应该比较简单
常见哈希函数
1.
直接定制法
--(
常用
)
取关键字的某个线性函数为散列地址:
Hash
(
Key
)
= A*Key + B
优点:简单、均匀 缺点:需要事先
知道关键字的分布情况 使用场景:适合查找比较小且连续的情况
面试题:
字符串中第一个只出现一次字符(leecode自行搜索)
2.
除留余数法
--(
常用
)
设散列表中允许的
地址数为
m
,取一个不大于
m
,但最接近或者等于
m
的质数
p
作为除数,按照哈希函
数:
Hash(key) = key% p(p<=m),
将关键码转换成哈希地址
3.
平方取中法
--(
了解
)
假设关键字为
1234
,对它平方就是
1522756
,抽取中间的
3
位
227
作为哈希地址; 再比如关键字为
4321
,对它平方就是
18671041
,抽取中间的
3
位
671(
或
710)
作为哈希地址
平方取中法比较适合:不知
道关键字的分布,而位数又不是很大的情况
4. 折叠法--(
了解
)
折叠法是将关键字从左到右分割成位数相等的几部分
(
最后一部分位数可以短些
)
,然后将这几部分叠加求和,并按散列表表长,取后几位作为散列地址。
折叠法适合事先不需要知道关键字的分布,适合关键字位数比较多的情况
5.
随机数法
--(
了解
)
选择一个随机函数,取关键字的随机函数值为它的哈希地址,即
H(key) = random(key),
其中
random
为随机数函数。
通常应用于关键字长度不等时采用此法
6.
数学分析法
--(
了解
)
设有
n
个
d
位数,每一位可能有
r
种不同的符号,这
r
种不同的符号在各位上出现的频率不一定相同,可能在某些位上分布比较均匀,每种符号出现的机会均等,在某些位上分布不均匀只有某几种符号经常出现。可根据散列表的大小,选择其中各种符号分布均匀的若干位作为散列地址。例如:假设要存储某家公司员工登记表,如果用手机号作为关键字,那么极有可能前7
位都是 相同的,那么我们可以选择后面的四位作为散列地址,如果这样的抽取工作还容易出现 冲突,还可以对抽取出来的数字进行反转(
如
1234
改成
4321)
、右环位移
(
如
1234
改成
4123)
、左环移位、前两数与后两数叠加
(
如
1234
改成12+34=46)
等方法。
数字分析法通常适合处理关键字位数比较大的情况,如果事先知道关键字的分布且关键字的若干位分布
较均匀的情况
注意:哈希函数设计的越精妙,产生哈希冲突的可能性就越低,但是无法避免哈希冲突
2.4
哈希冲突解决
解决哈希冲突
两种常见的方法是:
闭散列
和
开散列
2.4.1
闭散列
闭散列:也叫开放定址法,当发生哈希冲突时,如果哈希表未被装满,说明在哈希表中必然还有空位置,那
么可以把
key
存放到冲突位置中的
“
下一个
”
空位置中去。
那如何寻找下一个空位置呢?
1.
线性探测
比如
2.1
中的场景,现在需要插入元素
44
,先通过哈希函数计算哈希地址,
hashAddr
为
4
,因此
44
理论上应该插在该位置,但是该位置已经放了值为4
的元素,即发生哈希冲突。
线性探测:从发生冲突的位置开始,依次向后探测,直到寻找到下一个空位置为止
。
插入
通过哈希函数获取待插入元素在哈希表中的位置,
如果该位置中没有元素则直接插入新元素,如果该位置中有元素发生哈希冲突,使用线性探
测找到下一个空位置,插入新元素
删除
采用闭散列处理哈希冲突时,不能随便物理删除哈希表中已有的元素,若直接删除元素会影响其他
元素的搜索
。比如删除元素
4
,如果直接删除掉,
44
查找起来可能会受影响。因此
线性探测采用标
记的伪删除法来删除一个元素
。
// 哈希表每个空间给个标记// EMPTY 此位置空, EXIST 此位置已经有元素, DELETE 元素已经删除enum State { EMPTY , EXIST , DELETE };
大家来思考一下:哈希表什么情况下进行扩容?如何扩容?
线性探测优点:实现非常简单,
线性探测缺点:
一旦发生哈希冲突,所有的冲突连在一起,容易产生数据
“
堆积
”
,即:不同关键码占据
了可利用的空位置,使得寻找某关键码的位置需要许多次比较,导致搜索效率降低
。如何缓解呢?
![](https://img-blog.csdnimg.cn/direct/5b138d10b2bf45d2b0bf604d3ccfa55a.png)
![](https://img-blog.csdnimg.cn/direct/df87228089a2419386c99b7ac779f723.png)
研究表明:当表的长度为质数且表装载因子a不超过0.5时,新的表项一定能够插入,而且任何一个位置都不会被探查两次。因此只要表中有一半的空位置,就不会存在表满的问题。在搜索时可以不考虑表装满的情况,但在插入时必须确保表的装载因子a不超过0.5,是通过散列函数Hash(x)对元素的关键码 key 进行计算得到的位置,m是表的大小。 对于2.1中如果要插入44,产生冲突,使用解决后的情况为:如果超出必须考虑增容。
因此:比散列最大的缺陷就是空间利用率比较低,这也是哈希的缺陷。
2.4.2
开散列
1.
开散列概念
开散列法又叫链地址法
(
开链法
)
,首先对关键码集合用散列函数计算散列地址,具有相同地址的关键码
归于同一子集合,每一个子集合称为一个桶,各个桶中的元素通过一个单链表链接起来,各链表的头结
点存储在哈希表中
。
![](https://img-blog.csdnimg.cn/direct/b81b2412bd8049aea361b40660b69bef.png)
从上图可以看出,开散列中每个桶中放的都是发生哈希冲突的元素。
3.
开散列增容
桶的个数是一定的,随着元素的不断插入,每个桶中元素的个数不断增多,极端情况下,可能会导致一个桶中链表节点非常多,会影响的哈希表的性能,因此在一定条件下需要对哈希表进行增容,那该条件怎么确认呢?开散列最好的情况是:每个哈希桶中刚好挂一个节点,再继续插入元素时,每一次都会发生哈希冲突,因此,在元素个数刚好等于桶的个数时,可以给哈希表增容。
4.
开散列的思考
1.
只能存储
key
为整形的元素,其他类型怎么解决?
// 哈希函数采用处理余数法,被模的key必须要为整形才可以处理,此处提供将key转化为整形的
方法
// 整形数据不需要转化
template<class T>
class DefHashF
{
public:
size_t operator()(const T& val)
{
return val;
}
};
// key为字符串类型,需要将其转化为整形
class Str2Int
{
public:
size_t operator()(const string& s)
{
const char* str = s.c_str();
unsigned int seed = 131; // 31 131 1313 13131 131313
unsigned int hash = 0;
while (*str)
{
hash = hash * seed + (*str++);
}
return (hash & 0x7FFFFFFF);
}
};
// 为了实现简单,此哈希表中我们将比较直接与元素绑定在一起
template<class V, class HF>
class HashBucket
{
// ……
private:
size_t HashFunc(const V& data)
{
return HF()(data.first)%_ht.capacity();
}
};
2. 除留余数法,最好模一个素数,如何每次快速取一个类似两倍关系的素数?
const int PRIMECOUNT = 28;
const size_t primeList[PRIMECOUNT] =
{
53ul, 97ul, 193ul, 389ul, 769ul,
1543ul, 3079ul, 6151ul, 12289ul, 24593ul,
49157ul, 98317ul, 196613ul, 393241ul, 786433ul,
1572869ul, 3145739ul, 6291469ul, 12582917ul, 25165843ul,
50331653ul, 100663319ul, 201326611ul, 402653189ul, 805306457ul,
1610612741ul, 3221225473ul, 4294967291ul
};
size_t GetNextPrime(size_t prime)
{
size_t i = 0;
for(; i < PRIMECOUNT; ++i)
{
if(primeList[i] > primeList[i])
return primeList[i];
}
return primeList[i];
}
5.
开散列与闭散列比较
应用链地址法处理溢出,需要增设链接指针,似乎增加了存储开销。事实上:
由于开地址法必须保持大
量的空闲空间以确保搜索效率,如二次探查法要求装载因子
a <= 0.7
,而表项所占空间又比指针大的
多,所以使用链地址法反而比开地址法节省存储空间。
3. 模拟实现
至于哈希的模拟实现,我们现阶段还不用考虑。
4. 哈希的应用
4.1
位图
4.1.1
位图概念
1.
面试题
给
40
亿个不重复的无符号整数,没排过序。给一个无符号整数,如何快速判断一个数是否在这
40
亿个数中。【腾讯】
1.
遍历,时间复杂度
O(N)
2.
排序
(O(NlogN))
,利用二分查找
: logN
3.
位图解决
数据是否在给定的整形数据中,结果是在或者不在,刚好是两种状态,那么可以使用一个二进制比
特位来代表数据是否存在的信息,如果二进制比特位为
1
,代表存在,为
0
代表不存在。比如:
2.
位图概念
所谓位图,就是用每一位来存放某种状态,适用于海量数据,数据无重复的场景。通常是用来判断某个数据存不存在的。
4.1.2
位图的实现
#define _CRT_SECURE_NO_WARNINGS 1
class bitset
{
public:
bitset(size_t bitCount)
: _bit((bitCount >> 5) + 1), _bitCount(bitCount)
{}
// 将which比特位置1
void set(size_t which)
{
if (which > _bitCount)
return;
size_t index = (which >> 5);
size_t pos = which % 32;
_bit[index] |= (1 << pos);
}
// 将which比特位置0
void reset(size_t which)
{
if (which > _bitCount)
return;
size_t index = (which >> 5);
size_t pos = which % 32;
_bit[index] &= ~(1 << pos);
}
// 检测位图中which是否为1
bool test(size_t which)
{
if (which > _bitCount)
return false;
size_t index = (which >> 5);
size_t pos = which % 32;
return _bit[index] & (1 << pos);
}
// 获取位图中比特位的总个数
size_t size()const { return _bitCount; }
// 位图中比特为1的个数
size_t Count()const
{
int bitCnttable[256] = {
0, 1, 1, 2, 1, 2, 2, 3, 1, 2, 2, 3, 2, 3, 3, 4, 1, 2, 2, 3, 2, 3, 3, 4, 2,
3, 3, 4, 3, 4, 4, 5, 1, 2, 2, 3, 2, 3, 3, 4, 2, 3, 3, 4, 3, 4, 4, 5, 2, 3,
3, 4, 3, 4, 4, 5, 3, 4, 4, 5, 4, 5, 5, 6, 1, 2, 2, 3, 2, 3, 3, 4, 2, 3, 3,
4, 3, 4, 4, 5, 2, 3, 3, 4, 3, 4, 4, 5, 3, 4, 4, 5, 4, 5, 5, 6, 2, 3, 3, 4,
3, 4, 4, 5, 3, 4, 4, 5, 4, 5, 5, 6, 3, 4, 4, 5, 4, 5, 5, 6, 4, 5, 5, 6, 5,
6, 6, 7, 1, 2, 2, 3, 2, 3, 3, 4, 2, 3, 3, 4, 3, 4, 4, 5, 2, 3, 3, 4, 3, 4,
4, 5, 3, 4, 4, 5, 4, 5, 5, 6, 2, 3, 3, 4, 3, 4, 4, 5, 3, 4, 4, 5, 4, 5, 5,
6, 3, 4, 4, 5, 4, 5, 5, 6, 4, 5, 5, 6, 5, 6, 6, 7, 2, 3, 3, 4, 3, 4, 4, 5,
3, 4, 4, 5, 4, 5, 5, 6, 3, 4, 4, 5, 4, 5, 5, 6, 4, 5, 5, 6, 5, 6, 6, 7, 3,
4, 4, 5, 4, 5, 5, 6, 4, 5, 5, 6, 5, 6, 6, 7, 4, 5, 5, 6, 5, 6, 6, 7, 5, 6,
6, 7, 6, 7, 7, 8 };
size_t size = _bit.size();
size_t count = 0;
for (size_t i = 0; i < size; ++i)
{
int value = _bit[i];
int j = 0;
while (j < sizeof(_bit[0]))
{
unsigned char c = value;
count += bitCntTable[c];
++j;
value >>= 8;
}
}
return count;
}
private:
vector<int> _bit;
size_t _bitCount;
};
4.1.3 位图的应用
1.
快速查找某个数据是否在一个集合中
2.
排序
3.
求两个集合的交集、并集等
4.
操作系统中磁盘块标记
4.2
布隆过滤器
4.2.1
布隆过滤器提出
我们在使用新闻客户端看新闻时,它会给我们不停地推荐新的内容,它每次推荐时要去重,去掉那些已经看过的内容。问题来了,新闻客户端推荐系统如何实现推送去重的? 用服务器记录了用户看过的所有历史记录,当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选,过滤掉那些已经存在的记录。 如何快速查找呢?
1.
用哈希表存储用户记录,缺点:浪费空间
2.
用位图存储用户记录,缺点:不能处理哈希冲突
3.
将哈希与位图结合,即布隆过滤器
4.2.2
布隆过滤器概念
布隆过滤器是由布隆(
Burton Howard Bloom
)在
1970
年提出的 一种紧凑型的、比较巧妙的
概率型数据结
构
,特点是
高效地插入和查询,可以用来告诉你
“
某样东西一定不存在或者可能存在
”,
它是用多个哈希函数,将一个数据映射到位图结构中。此种方式不仅可以提升查询效率,也可以节省大量的内存空间
。
4.2.3
布隆过滤器的插入
![](https://img-blog.csdnimg.cn/direct/ddd4a7d701214ff4a9ad0828980077f9.png)
4.2.4
布隆过滤器的查找
布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中,因此被映射到的位置的比特位一定为
1
。所以可以按照以下方式进行查找:分别计算每个哈希值对应的比特位置存储的是否为零,只要有一个为零,
代表该元素一定不在哈希表中,否则可能在哈希表中
注意:布隆过滤器如果说某个元素不存在时,该元素一定不存在,如果该元素存在时,该元素可能存在,因
为有些哈希函数存在一定的误判。
比如:在布隆过滤器中查找
"alibaba"
时,假设
3
个哈希函数计算的哈希值为:
1
、
3
、
7
,刚好和其他元素的比特位重叠,此时布隆过滤器告诉该元素存在,但实该元素是不存在的。
4.2.5
布隆过滤器删除
布隆过滤器不能直接支持删除工作,因为在删除一个元素时,可能会影响其他元素。
比如:删除上图中
"tencent"
元素,如果直接将该元素所对应的二进制比特位置
0
,
“baidu”
元素也被删除了,因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。一种支持删除的方法:将布隆过滤器中的每个比特位扩展成一个小的计数器,插入元素时给k
个计数器
(k
个哈希函数计算出的哈希地址)
加一,删除元素时,给
k
个计数器减一,通过多占用几倍存储空间的代价来增加删除操作。
缺陷:
1.
无法确认元素是否真正在布隆过滤器中
2.
存在计数回绕
4.2.6
布隆过滤器优点
1.
增加和查询元素的时间复杂度为
:O(K), (K
为哈希函数的个数,一般比较小
)
,与数据量大小无关
2.
哈希函数相互之间没有关系,方便硬件并行运算
3.
布隆过滤器不需要存储元素本身,在某些对保密要求比较严格的场合有很大优势
4.
在能够承受一定的误判时,布隆过滤器比其他数据结构有这很大的空间优势
5. 数据量很大时,布隆过滤器可以表示全集,其他数据结构不能
6.
使用同一组散列函数的布隆过滤器可以进行交、并、差运算
4.2.7
布隆过滤器缺陷
1.
有误判率,即存在假阳性
(False Position)
,即不能准确判断元素是否在集合中
(
补救方法:再建立一个白名单,存储可能会误判的数据)
2.
不能获取元素本身
3.
一般情况下不能从布隆过滤器中删除元素
4.
如果采用计数方式删除,可能会存在计数回绕问题
5.
海量数据面试题
5.1
哈希切割
给一个超过
100G
大小的
log file, log
中存着
IP
地址
,
设计算法找到出现次数最多的
IP
地址? 与上题条件相同,如何找到top K
的
IP
?如何直接用
Linux
系统命令实现?
5.2
位图应用
1.
给定
100
亿个整数,设计算法找到只出现一次的整数?
2.
给两个文件,分别有
100
亿个整数,我们只有
1G
内存,如何找到两个文件交集?
3.
位图应用变形:
1
个文件有
100
亿个
int
,
1G
内存,设计算法找到出现次数不超过
2
次的所有整数
5.3
布隆过滤器
1.
给两个文件,分别有
100
亿个
query
,我们只有
1G
内存,如何找到两个文件交集?分别给出精确算法和近似算法 2. 如何扩展
BloomFilter
使得它支持删除元素的操作
扩展阅读:
一致性哈希
哈希与加密