一、哈希表
1.1 哈希概念
顺序结构以及平衡树中,元素关键码与其存储位置之间没有对应的关系,因此在查找一个元素时,必须要经过关键码的多次比较。顺序查找时间复杂度为O(N),平衡树中为树的高度,即O( logN),搜索的效率取决于搜索过程中元素的比较次数。
理想的搜索方法:可以不经过任何比较,一次直接从表中得到要搜索的元素。 如果构造一种存储结构,通过某种函数(hashFunc)使元素的存储位置与它的关键码之间能够建立一一映射的关系,那么在查找时通过该函数可以很快找到该元素。
当向该结构中:
- 插入元素
根据待插入元素的关键码,以此函数计算出该元素的存储位置并按此位置进行存放 - 搜索元素
对元素的关键码进行同样的计算,把求得的函数值当做元素的存储位置,在结构中按此位置取元素比较,若关键码相等,则搜索成功
该方式即为哈希(散列)方法,哈希方法中使用的转换函数称为哈希(散列)函数,构造出来的结构称为哈希表(Hash Table)(或者称散列表)
1.2 哈希冲突
对于两个数据元素的关键字ki 和 kj (i != j),有ki != kj,但有:Hash(ki) == Hash(kj),即:不同关键字通过相同哈希哈数计算出相同的哈希地址,该种现象称为哈希冲突或哈希碰撞。
把具有不同关键码而具有相同哈希地址的数据元素称为“同义词”。
1.3 哈希函数
引起哈希冲突的一个原因可能是:哈希函数设计不够合理。 哈希函数设计原则:
哈希函数的定义域必须包括需要存储的全部关键码,而如果散列表允许有m个地址时,其值域必须在0
到m-1之间.
哈希函数计算出来的地址能均匀分布在整个空间中,哈希函数应该比较简单。
常见哈希函数
- 直接定制法–(常用)
取关键字的某个线性函数为散列地址:Hash(Key)= A*Key + B
优点:简单、均匀
缺点:需要事先知道关键字的分布情况 使用场景:适合查找比较小且连续的情况。 - 除留余数法–(常用)
设散列表中允许的地址数为m,取一个不大于m,但最接近或者等于m的质数p作为除数,按照哈希函数:Hash(key) = key% p(p<=m),将关键码转换成哈希地址。 - 平方取中法–(了解)
假设关键字为1234,对它平方就是1522756,抽取中间的3位227作为哈希地址; 再比如关键字为4321,对它平方就是18671041,抽取中间的3位671(或710)作为哈希地址 平方取中法比较适合:不知道关键字的分布,而位数又不是很大的情况。 - 折叠法–(了解)
折叠法是将关键字从左到右分割成位数相等的几部分(最后一部分位数可以短些),然后将这几部分叠加求和,并按散列表表长,取后几位作为散列地址。
折叠法适合事先不需要知道关键字的分布,适合关键字位数比较多的情况。 - 随机数法–(了解)
选择一个随机函数,取关键字的随机函数值为它的哈希地址,即H(key) = random(key),其中random为随机数函数。通常应用于关键字长度不等时采用此法。 - 数学分析法–(了解)
设有n个d位数,每一位可能有r种不同的符号,这r种不同的符号在各位上出现的频率不一定相同,可能在某些位上分布比较均匀,每种符号出现的机会均等,在某些位上分布不均匀只有某几种符号经常出现。可根据散列表的大小,选择其中各种符号分布均匀的若干位作为散列地址。
哈希函数设计的越精妙,产生哈希冲突的可能性就越低,但是无法避免哈希冲突
1.4 载荷因子
散列表的载荷因子定义为:a = 填入表中的元素个数 / 散列表的长度
a 是散列表装满程度的标志因子。由于表长是定值,a 与“填入表中的元素个数”成正比,所以 a 越大,表明填入表中的元素越多,产生冲突的可能性就越大;反之,a 越小,标明填入表中的元素越少,产生冲突的可能性就越小。实际上,散列表的平均查找长度是载荷因子 a 的函数,只是不同处理冲突的方法有不同的函数。
对于开放定址法,荷载因子是特别重要因素,应严格限制在0.7-0.8以下。超过0.8,查表时的CPU缓存不命中(cache missing)按照指数曲线上升。因此,一些采用开放定址法的hash库,如Java的系统库限制了荷载因子为0.75,超过此值将resize散列表。
二、解决哈希冲突
解决哈希冲突两种常见的方法是:闭散列和开散列
2.1 闭散列
闭散列:也叫开放定址法,当发生哈希冲突时,如果哈希表未被装满,说明在哈希表中必然还有空位置,那么可以把key存放到冲突位置中的“下一个” 空位置中去。那如何寻找下一个空位置呢?
- 线性探测
从发生冲突的位置开始,依次向后探测,直到寻找到下一个空位置为止。
比如上面的冲突,首先5放在5下标位置,15映射后发生冲突,从5下标往后面找,找到一个空位置就可以放了。
- 插入
通过哈希函数获取待插入元素在哈希表中的位置,如果该位置中没有元素则直接插入新元素,如果该位置中有元素发生哈希冲突,使用线性探测找到下一个空位置,插入新元素 - 删除
采用闭散列处理哈希冲突时,不能随便物理删除哈希表中已有的元素,若直接删除元素会影响其他元素的搜索。比如删除元素4,如果直接删除掉,44查找起来可能会受影响。因此线性探测采用标记的伪删除法来删除一个元素。
线性探测优点:实现非常简单
线性探测缺点:一旦发生哈希冲突,所有的冲突连在一起,容易产生数据“堆积”,即:不同关键码占据了可利用的空位置,使得寻找某关键码的位置需要许多次比较,导致搜索效率降低。
- 二次探测
线性探测的缺陷是产生冲突的数据堆积在一块,这与其找下一个空位置有关系,因为找空位置的方式就是挨着往后逐个去找,因此二次探测为了避免该问题,找下一个空位置的方法为:Hi= (H0 + i2)% m,或者:Hi = (H0 - i2)% m。其中:i = 1,2,3…, H0是通过散列函数Hash(x)对元素的关键码 key 进行计算得到的位置,m是表的大小。
2.2 闭散列代码实现
- 删除某一个数据会影响其他很多的(与之相关发生冲突的数据)数据,所以使用标记法,表示已被删除,这里使用枚举表示
enum Status
{
EXIST,
EMPTY,
DELETE
};
- 定义数据结点,这里存储的是键值对
template<class K, class V>
struct HashData
{
pair<K, V> _kv;
Status _status = EMPTY;
};
- 由于传入的key值可能不是自然数,比如常用的字符串类型,它是不能取模,需要使用字符串哈希,变成一个整数来取模。
所以需要设计一个仿函数拿到对应的数值
// 哈希表数据结构
template<class K, class V, class HashFunc = Hash<K> >
class HashTable
{
private:
vector<HashData<K, V> > _tables;
size_t _n = 0; // 哈希表中存放的个数
}
// 用于将整数转换成0到大于零的正整数,防止出现对负数取模
template<class K>
struct Hash
{
// 将整型转成正数
size_t operator()(const K& key)
{
return key;
}
};
// 常用到字符串类型的key值,这是一个特化版本
template<>
struct Hash <string>
{
// 字符串哈希
size_t operator()(const string& s)
{
size_t value = 0;
for (auto ch : s)
{
// 也可以乘以31、131、1313、13131、131313..
// 乘上一个数,减少冲突的概率
value *= 31;
value += ch;
}
return value;
}
};
- 扩容
当负载因子较大时要扩容,防止出现冲突聚集,效率下降
// 扩容,负载因子大于7时
if (_tables.size() == 0 || _n * 10 / _tables.size() >= 7)
{
size_t newSize = _tables.size() == 0 ? 10 : _tables.size() * 2;
// 扩容有两种方法
// 1. 可以遍历一遍数组,并重新映射
// 2. 创建一个本类对象,调用它的插入函数,完成映射,再交换对象
HashTable<K, V, HashFunc> newHT;
newHT._tables.resize(newSize);
for (int i = 0; i < _tables.size(); i++)
{
if (_tables[i]._status == EXIST)
{
newHT.Insert(_tables[i]._kv);
}
}
// 交换两个数组
_tables.swap(newHT._tables);
}
- 完整实现
namespace CloseHash
{
enum Status
{
EXIST,
EMPTY,
DELETE
};
template<class K, class V>
struct HashData
{
pair<K, V> _kv;
Status _status = EMPTY;
};
// 用于将整数转换成0到大于零的正整数,防止出现对负数取模
template<class K>
struct Hash
{
size_t operator()(const K& key)
{
return key;
}
};
// 常用到字符串类型的key值,这是一个特化版本
template<>
struct Hash <string>
{
// 字符串哈希
size_t operator()(const string& s)
{
size_t value = 0;
for (auto ch : s)
{
// 也可以乘以31、131、1313、13131、131313..
// 乘上一个数,减少冲突的概率
value *= 31;
value += ch;
}
return value;
}
};
template<class K, class V, class HashFunc = Hash<K> >
class HashTable
{
private:
vector<HashData<K, V> > _tables;
size_t _n = 0;
public:
bool Erase(const K& key)
{
HashData<K, V>* ret = Find(key);
if (ret == nullptr)
return false;
else
{
--_n;
ret->_status = DELETE;
return true;
}
}
HashData<K, V>* Find(const K& key)
{
if (_tables.size() == 0)
{
return nullptr;
}
HashFunc hf;
// 线性探测 or 二次探查
int i = 0;
int start = hf(key) % _tables.size();
int index = start;
while (_tables[index]._status != EMPTY)
{
if (_tables[index]._status == EXIST && _tables[index]._kv.first == key)
return &_tables[index];
index++; // 线性探测
//index = start + i * i ++ ;// 二次探查
index %= _tables.size();
}
return nullptr;
}
bool Insert(const pair<K, V>& kv)
{
HashData<K, V>* ret = Find(kv.first);
if (ret != nullptr)
{
return false;
}
// 扩容,负载因子大于7时
if (_tables.size() == 0 || _n * 10 / _tables.size() >= 7)
{
size_t newSize = _tables.size() == 0 ? 10 : _tables.size() * 2;
// 扩容有两种方法
// 1. 可以遍历一遍数组,并重新映射
// 2. 创建一个本类对象,调用它的插入函数,完成映射,再交换对象
HashTable<K, V, HashFunc> newHT;
newHT._tables.resize(newSize);
for (int i = 0; i < _tables.size(); i++)
{
if (_tables[i]._status == EXIST)
{
newHT.Insert(_tables[i]._kv);
}
}
// 交换两个数组
_tables.swap(newHT._tables);
}
HashFunc hf;
// 线性探测 or 二次探查
int i = 0;
int start = hf(kv.first) % _tables.size();
int index = start;
while (_tables[index]._status == EXIST)
{
index++; // 线性探测
//index = start + i * i ++ ;// 二次探查
index %= _tables.size();
}
_tables[index]._kv = kv;
_tables[index]._status = EXIST;
++_n;
return true;
}
};
}
2.3 开散列
开散列
- 开散列概念
开散列法又叫链地址法(拉链法),首先对关键码集合用散列函数计算散列地址,具有相同地址的关键码归于同一子集合,每一个子集合称为一个桶,各个桶中的元素通过一个单链表链接起来,各链表的头结点存储在哈希表中。
开散列中每个桶中放的都是发生哈希冲突的元素。
2.4 开散列代码实现
- 开散列数据结构
可以是一个数组下面挂一个单链表
// 单链表结点数据
template<class K, class V>
struct HashData
{
pair<K, V> _kv;
HashData<K, V>* _next;
HashData(const pair<K, V>& kv)
:_kv(kv), _next(nullptr)
{}
};
template<class K, class V, class HashFunc = Hash<K> >
class HashTable
{
typedef HashData<K, V> Node;
private:
vector<Node*> _tables;
size_t _n = 0; // 有效数字个数
}
- 扩容
// 载荷因子为1时扩容
if (_tables.size() == 0 || _n * 10 / _tables.size() == 10)
{
// 因为哈希表每个元素下挂一个单链表,它们的空间是动态申请的,只有指针管理
// 所以使用上面的方法(创建一个新大小的类,调用插入函数,最后交换)没有直接交换结点快,不用申请空间
size_t newSize = _tables.size() == 0 ? 10 : _tables.size() * 2;
vector<Node*> newTables(newSize);
for (size_t i = 0; i < _tables.size(); i++)
{
Node* cur = _tables[i];
while (cur)
{
Node* prev = cur;
// 链接到新的表上
size_t newIndex = hf(cur->_kv.first) % newSize;
cur->_next = newTables[newIndex];
newTables[newIndex] = cur;
cur = prev->_next;
}
_tables[i] = nullptr;
}
_tables.swap(newTables);
}
- 完整代码
namespace LinkHash
{
template<class K, class V>
struct HashData
{
pair<K, V> _kv;
HashData<K, V>* _next;
HashData(const pair<K,V>& kv)
:_kv(kv), _next(nullptr)
{}
};
// 用于将整数转换成0到大于零的正整数,防止出现对负数取模
template<class K>
struct Hash
{
// 将整型转成正数
size_t operator()(const K& key)
{
return key;
}
};
// 常用到字符串类型的key值,这是一个特化版本
template<>
struct Hash <string>
{
// 字符串哈希
size_t operator()(const string& s)
{
size_t value = 0;
for (auto ch : s)
{
// 也可以乘以31、131、1313、13131、131313..
// 乘上一个数,减少冲突的概率
value *= 31;
value += ch;
}
return value;
}
};
template<class K, class V, class HashFunc = Hash<K> >
class HashTable
{
typedef HashData<K, V> Node;
private:
vector<Node*> _tables;
size_t _n = 0; // 有效数字个数
public:
bool Erase(const K& key)
{
Node* res = Find(key);
if (res == nullptr) return false;
HashFunc hf;
//用于单链表的删除,存储前一个结点的地址
int index = hf(key) % _tables.size();
Node* cur = _tables[index], *prev = nullptr;
while (cur)
{
if (cur->_kv.first == key)
{
if (prev == nullptr) // 头删
{
_tables[index] = cur->_next;
}
else // 中间删
{
prev->_next = cur->_next;
}
delete cur;
--_n;
return true;
}
else
{
prev = cur;
cur = cur->_next;
}
}
return false;
}
Node* Find(const K& key)
{
if (_n == 0)
return nullptr;
HashFunc hf;
int index = hf(key) % _tables.size();
Node* cur = _tables[index];
while (cur)
{
if (cur->_kv.first == key) return cur;
else cur = cur->_next;
}
return nullptr;
}
bool Insert(const pair<K, V>& kv)
{
Node* res = Find(kv.first);
if (res != nullptr) return false;
HashFunc hf;
// 载荷因子为1时扩容
if (_tables.size() == 0 || _n * 10 / _tables.size() == 10)
{
// 因为哈希表每个元素下挂一个单链表,它们的空间是动态申请的,只有指针管理
// 所以使用上面的方法(创建一个新大小的类,调用插入函数,最后交换)没有直接交换结点快,不用申请空间
size_t newSize = _tables.size() == 0 ? 10 : _tables.size() * 2;
vector<Node*> newTables(newSize);
for (size_t i = 0; i < _tables.size(); i++)
{
Node* cur = _tables[i];
while (cur)
{
Node* prev = cur;
// 链接到新的表上
size_t newIndex = hf(cur->_kv.first) % newSize;
cur->_next = newTables[newIndex];
newTables[newIndex] = cur;
cur = prev->_next;
}
_tables[i] = nullptr;
}
_tables.swap(newTables);
}
int index = hf(kv.first) % _tables.size();
// 头插法
Node* newNode = new Node(kv);
newNode->_next = _tables[index];
_tables[index] = newNode;
++_n;
}
};
void TestHashTable()
{
int a[] = { 4, 24, 14,7,37,27,57,67,34,14,54 };
HashTable<int, int> ht;
for (auto e : a)
{
ht.Insert(make_pair(e, e));
}
ht.Erase(24);
ht.Erase(67);
ht.Insert(make_pair(84, 84));
}
}