哈希的介绍及开散列和闭散列的实现(c++)

本文主要对哈希的相关知识进行一定的介绍，并对哈希中结构的闭散列和开散列进行一定的介绍和部分功能的实现。

目录

一、哈希概念

二、哈希冲突

三、哈希函数

1. 直接定址法--(常用)

2. 除留余数法--(常用)

3. 平方取中法

4. 折叠法

5. 随机数法

6. 数学分析法

四、哈希冲突解决

1.闭散列

1.线性探测

2.线性探测的实现

3. 二次探测

2.开散列

1.开散列概念

2. 开散列增容

3.开散列的思考

4.开散列的实现

5. 开散列与闭散列比较

---

一、哈希概念

顺序结构以及平衡树中，元素关键码与其存储位置之间没有对应的关系，因此在查找一个元素时，必须要经过关键码的多次比较。顺序查找时间复杂度为O(N)，平衡树中为树的高度，即，搜索的效率取决于搜索过程中元素的比较次数。

理想的搜索方法：可以不经过任何比较，一次直接从表中得到要搜索的元素。如果构造一种存储结构，通过某种函数(hashFunc)使元素的存储位置与它的关键码之间能够建立一一映射的关系，那么在查找时通过该函数可以很快找到该元素。

当向该结构中：

        1.插入元素：根据待插入元素的关键码，以此函数计算出该元素的存储位置并按此位置进行存放

        2.搜索元素：对元素的关键码进行同样的计算，把求得的函数值当做元素的存储位置，在结构中按此位置取元素比较，若关键码相等，则搜索成功

该方式即为哈希(散列)方法，哈希方法中使用的转换函数称为哈希(散列)函数，构造出来的结构称 为哈希表(Hash Table)(或者称散列表）

例如：数据集合{1，7，6，4，5，9}；

哈希函数设置为：hash(key) = key % capacity; capacity为存储元素底层空间总的大小。

用该方法进行搜索不必进行多次关键码的比较，因此搜索的速度比较快

二、哈希冲突

对于两个数据元素的关键字和(i != j)，有!=，但有：Hash() == Hash()，即不同关键字通过相同哈希哈数计算出相同的哈希地址，该种现象称为哈希冲突或哈希碰撞。

把具有不同关键码而具有相同哈希地址的数据元素称为“同义词”。

三、哈希函数

引起哈希冲突的一个原因可能是：哈希函数设计不够合理。

哈希函数设计原则：

• 哈希函数的定义域必须包括需要存储的全部关键码，而如果散列表允许有m个地址时，其值域必须在0到m-1之间
• 哈希函数计算出来的地址能均匀分布在整个空间中
• 哈希函数应该比较简单

常见哈希函数：

1. 直接定址法--(常用)

取关键字的某个线性函数为散列地址：Hash（Key）= A*Key + B

优点：简单、均匀

缺点：需要事先知道关键字的分布情况

使用场景：适合查找比较小且连续的情况

2. 除留余数法--(常用)

设散列表中允许的地址数为m，取一个不大于m，但最接近或者等于m的质数p作为除数，按照哈希函数：Hash(key) = key% p(p<=m),将关键码转换成哈希地址

(见：标题一的图解)

3. 平方取中法

假设关键字为1234，对它平方就是1522756，抽取中间的3位227作为哈希地址；再比如关键字为4321，对它平方就是18671041，抽取中间的3位671(或710)作为哈希地址;

平方取中法比较适合：不知道关键字的分布，而位数又不是很大的情况

4. 折叠法

折叠法是将关键字从左到右分割成位数相等的几部分(最后一部分位数可以短些)，然后将这几部分叠加求和，并按散列表表长，取后几位作为散列地址。

折叠法适合事先不需要知道关键字的分布，适合关键字位数比较多的情况

5. 随机数法

选择一个随机函数，取关键字的随机函数值为它的哈希地址，即Hash(key) = random(key),其中random为随机数函数。

通常应用于关键字长度不等时采用此法

6. 数学分析法

设有n个d位数，每一位可能有r种不同的符号，这r种不同的符号在各位上出现的频率不一定相同，可能在某些位上分布比较均匀，每种符号出现的机会均等，在某些位上分布不均匀只有某几种符号经常出现。可根据散列表的大小，选择其中各种符号分布均匀的若干位作为散列地址。

比如：假设要存储某家公司员工登记表，如果用手机号作为关键字，那么极有可能前7位都是相同 的，那么我们可以选择后面的四位作为散列地址，如果这样的抽取工作还容易出现冲突，还可以对抽取出来的数字进行反转(如1234改成4321)、右环位移(如1234改成4123)、左环移位、前两数与后两数叠加(如1234改成12+34=46)等方法。

数字分析法通常适合处理关键字位数比较大的情况，如果事先知道关键字的分布且关键字的若干位分布较均匀的情况

注意：哈希函数设计的越精妙，产生哈希冲突的可能性就越低，但是无法避免哈希冲突

四、哈希冲突解决

解决哈希冲突两种常见的方法是：闭散列和开散列

1.闭散列

闭散列：也叫开放定址法，当发生哈希冲突时，如果哈希表未被装满，说明在哈希表中必然还有空位置，那么可以把key存放到冲突位置中的“下一个” 空位置中去。

那如何寻找下一个空位置呢？

1.线性探测

线性探测：从发生冲突的位置开始，依次向后探测，直到寻找到下一个空位置为止。

插入：

• 通过哈希函数获取待插入元素在哈希表中的位置
• 如果该位置中没有元素则直接插入新元素，如果该位置中有元素发生哈希冲突，使用线性探测找到下一个空位置，插入新元素

删除：

采用闭散列处理哈希冲突时，不能随便物理删除哈希表中已有的元素，若直接删除元素会影响其他元素的搜索。比如删除元素4，如果直接删除掉，44查找起来可能会受影响。因此线性探测采用标记的伪删除法来删除一个元素。

即给插入的元素一个状态，默认为EMPTY，插入元素为EXIST，被删除后为DELETE。

enum State
{
	EMPTY,
	EXIST,
	DELETE
};

2.线性探测的实现

哈希表的扩容：

散列表的载荷因子为：=填入表中的元素个数 / 散列表的长度

是散列表装满程度的标志因子。由于表长是定值，与“填入表中的元素个数”成正比，所以越大，元素越多，产生冲突的可能性就越大；反之，越小，标明填入表中的元素越少，产生冲突的可能性就越小。实际上，散列表的平均查找长度是载荷因子的函数，只是不同处理冲突的方法有不同的函数。

对于开放定址法，载荷因子是特别重要的因素，应严格限制在0.7-0.8以下。超过0.8，查表时的CPU缓存不命中按照指数曲线上升。因此，一些采用开放定址法的hash库，如Java的系统库限制了载荷因子为0.75，超过此值将resize散列表。

代码实现：

enum State
{
	EMPTY,
	EXIST,
	DELETE
};

template<class K, class V>
struct HashData
{
	pair<K, V> _kv;
	State _state;
};

template<class K, class V>
class HashTable
{
public:

	HashTable(size_t capacity = 3)//默认大小设置为3
		: _tables(capacity), _n(0)
	{
		for (size_t i = 0; i < capacity; ++i)
			_tables[i]._state = EMPTY;//表中的元素状态初始化为空
	}
	bool Insert(const pair<K, V>& kv)
	{
		if (Find(kv.first))//查找返回真则表示已经存在该值，插入失败
			return false;

		// 负载因子超过0.7就扩容
		if (_n * 10 / _tables.size() >= 7)
		{
			size_t newsize = _tables.size() == 0 ? 10 : _tables.size() * 2;
			HashTable<K, V> newht;
			newht._tables.resize(newsize);

			// 遍历旧表，重新映射到新表
			for (auto& data : _tables)
			{
				if (data._state == EXIST)
				{
					newht.Insert(data._kv);
				}
			}

			_tables.swap(newht._tables);
		}
		//hashi 为其对于的下标
		size_t hashi = kv.first % _tables.size();

		// 线性探测
		size_t i = 1;
		size_t index = hashi;
		while (_tables[index]._state == EXIST)
		{
			index = hashi + i;
			index %= _tables.size();
			//当表的后部分满了的情况下，让下标回到开头
			++i;
		}
		/*注意：动态哈希表，可以不用考虑没有插入空间的情况，
		 哈希表中元素个数到达一定的数量，哈希冲突概率会增大，
		 需要扩容来降低哈希冲突，因此哈希表中元素是不会存满的*/

		_tables[index]._kv = kv;
		_tables[index]._state = EXIST;
		_n++;

		return true;
	}

	HashData<K, V>* Find(const K& key)
	{
		if (_tables.size() == 0)
			return nullptr;
		size_t hashi = key % _tables.size();
		size_t i = 1;
		size_t index = hashi;
		/*因为线性探测是从其对应的下标开始向后找插入位置
			所以遇到状态为空则表示查找元素不在表里*/
		while (_tables[index]._state != EMPTY)
		{
			if (_tables[index]._state == EXIST
				&& _tables[index]._kv.first == key)
			{
				return &_tables[index];
			}
			index = hashi + i;
			index %= _tables.size();
			++i;
			/*查找时表中的元素可能会出现部分状态为存在，
			其余都是删除状态的情况，同时载荷因子<0.7 */
			if (index == hashi)
			{
				break;
			}
		}
		return nullptr;

	}

	bool Erase(const K& key)
	{
		HashData<K, V>* ret = Find(key);
		if (ret)
		{
			ret->_state = DELETE;
			--_n;
			return true;
		}
		else
			return false;
	}

	size_t Size()const
	{
		return _n;
	}
	bool Empty() const
	{
		return _n == 0;
	}
private:
	vector<HashData<K, V>> _tables;
	size_t _n;//存储数据个数
};

线性探测缺点：一旦发生哈希冲突，所有的冲突连在一起，容易产生数据“堆积”，即：不同关键码占据了可利用的空位置，使得寻找某关键码的位置需要许多次比较，导致搜索效率降低。

3. 二次探测

线性探测的缺陷是产生冲突的数据堆积在一块，这与其找下一个空位置有关系，因为找空位置的方式就是挨着往后逐个去找，因此二次探测为了避免该问题，找下一个空位置的方法为：= (+ )% m, 或者：= ( - )% m。其中：i =1,2,3…， 是通过散列函数Hash(x)对元素的关键码 key 进行计算得到的位置，m是表的大小。

研究表明：当表的长度为质数且表装载因子a不超过0.5时，新的表项一定能够插入，而且任何一个位置都不会被探查两次。因此只要表中有一半的空位置，就不会存在表满的问题。在搜索时可以不考虑表装满的情况，但在插入时必须确保表的装载因子a不超过0.5，如果超出必须考虑增容。

因此：比散列最大的缺陷就是空间利用率比较低，这也是哈希的缺陷。

2.开散列

1.开散列概念

开散列法又叫链地址法(开链法)，首先对关键码集合用散列函数计算散列地址，具有相同地址的关键码归于同一子集合，每一个子集合称为一个桶，各个桶中的元素通过一个单链表链接起来，各链表的头结点存储在哈希表中。

从上图可以看出，开散列中每个桶中放的都是发生哈希冲突的元素。

2. 开散列增容

桶的个数是一定的，随着元素的不断插入，每个桶中元素的个数不断增多，极端情况下，可能会导致一个桶中链表节点非常多，会影响的哈希表的性能，因此在一定条件下需要对哈希表进行增容，那该条件怎么确认呢？开散列最好的情况是：每个哈希桶中刚好挂一个节点，再继续插入元素时，每一次都会发生哈希冲突，因此，在元素个数刚好等于桶的个数时，可以给哈希表增容。

void _CheckCapacity()
{
	if (_n == _tables.size())
	{
		size_t newsize = _tables.size() * 2;

		vector<Node*> newtables(newsize, nullptr);

		for (auto& cur : _tables)
		{
			while (cur)
			{
				// 将该节点从原哈希表中拆出来
				Node* next = cur->_next;
				size_t hashi = cur->_kv.first % newsize;

				//头插到新位置
				cur->_next = newtables[hashi];
				newtables[hashi] = cur;
				cur = next;
			}
			cur = nullptr;
		}
		_tables.swap(newtables);
	}
}

3.开散列的思考

1. 只能存储key为整形的元素，其他类型怎么解决？

// 哈希函数采用处理余数法，被模的key必须要为整形才可以处理，此处提供将key转化为整形的方法
// 整形数据不需要转化
template<class K>
struct HashFunc
{
	size_t operator()(const K& key)
	{
		return key;
	}
};

//key为字符串类型，需要将其转化为整形
//因为key字符串的情况常见，所以特化string的仿函数
template<>
struct HashFunc<string>
{
	size_t operator()(const string& key)//BKDR算法
	{
		size_t hash = 0;
		for (auto e : key)
		{
			hash += e;
			hash *= 31;
		}
		return hash;
	}
};


// 为了实现简单，此哈希表中我们将比较直接与元素绑定在一起
template<class K,class V，class HF>
class HashTable
{
    // ……
private:
    size_t HashFunc(const K& key)
    {
	    return HF()(key) % _tables.capacity();
    }
};

2. 除留余数法，最好模一个素数，如何每次快速取一个类似两倍关系的素数？

size_t GetNextPrime(size_t prime)
{
	// SGI
	static const int num_primes = 28;
	static const unsigned long prime_list[num_primes] =
	{
		53, 97, 193, 389, 769,
		1543, 3079, 6151, 12289, 24593,
		49157, 98317, 196613, 393241, 786433,
		1572869, 3145739, 6291469, 12582917, 25165843,
		50331653, 100663319, 201326611, 402653189, 805306457,
		1610612741, 3221225473, 4294967291
	};

	size_t i = 0;
	for (; i < num_primes; ++i)
	{
		if (prime_list[i] > prime)
			return prime_list[i];
	}

	return prime_list[i];
}

4.开散列的实现

template<class K>
struct HashFunc
{
	size_t operator()(const K& key)
	{
		return key;
	}
};

template<>
struct HashFunc<string>
{
	size_t operator()(const string& key)
	{
		size_t hash = 0;
		for (auto e : key)
		{
			hash += e;
			hash *= 31;
		}
		return hash;
	}
};


template<class K, class V>
struct HashNode//哈希节点
{
	HashNode* _next;
	pair<K, V> _kv;

	HashNode(const pair<K, V>& kv)
		:_next(nullptr)
		,_kv(kv)
	{}
};



template<class K, class V,class HF>
class HashTable
{
	typedef HashNode<K, V> Node;
public:
	HashTable(size_t capacity = 3) : _n(0)
	{
		_tables.resize(GetNextPrime(capacity), nullptr);
	}

	~HashTable()
	{
		for (auto& cur : _tables)
		{
			while (cur)
			{
				Node* next = cur->_next;
				delete cur;
				cur = next;
			}
			cur = nullptr;
		}
	}
		
	size_t GetNextPrime(size_t prime)
	{
		// SGI
		static const int num_primes = 28;
		static const unsigned long prime_list[num_primes] =
		{
			53, 97, 193, 389, 769,
			1543, 3079, 6151, 12289, 24593,
			49157, 98317, 196613, 393241, 786433,
			1572869, 3145739, 6291469, 12582917, 25165843,
			50331653, 100663319, 201326611, 402653189, 805306457,
			1610612741, 3221225473, 4294967291
		};

		size_t i = 0;
		for (; i < num_primes; ++i)
		{
			if (prime_list[i] > prime)
				return prime_list[i];
		}

		return prime_list[i];
	}

	bool Insert(const pair<K, V>& kv)
	{
		if (Find(kv.first))
			return false;
		_CheckCapacity();
		size_t hashi = HashFunc(kv.first);

		Node* newNode = new Node(kv);
		newNode->_next = _tables[hashi];
		_tables[hashi] = newNode;
		++_n;
		return true;
	}

	Node* Find(const K& key)
	{
		if (_tables.size() == 0)
			return nullptr;
		size_t hashi = HashFunc(key);

		Node* cur = _tables[hashi];
		while (cur)
		{
			if (cur->_kv.first == key)
				return cur;
			cur = cur->_next;
		}
		return nullptr;
	}

	bool Erase(const K& key)
	{
		size_t hashi = HashFunc(key);

		Node* prev = nullptr;
		Node* cur = _tables[hashi];
		while (cur)
		{
			if (cur->_kv.first == key)
			{
				if (prev)
				{
					prev->_next = cur->_next;
				}
				else
				{
					_tables[hashi] = cur->_next;
				}
				delete cur;
				return true;
			}
			else
			{
				prev = cur;
				cur = cur->_next;
			}
		}
		return false;
	}

private:
	size_t HashFunc(const K& key)
	{
		return HF()(key) % _tables.capacity();
	}

	void _CheckCapacity()
	{
		if (_n == _tables.size())
		{
			size_t newsize = _tables.size() * 2;

			vector<Node*> newtables(newsize, nullptr);

			for (auto& cur : _tables)
			{
				while (cur)
				{
					// 将该节点从原哈希表中拆出来
					Node* next = cur->_next;
					size_t hashi = cur->_kv.first % newsize;

					//头插到新位置
					cur->_next = newtables[hashi];
					newtables[hashi] = cur;
					cur = next;
				}
				cur = nullptr;
			}
			_tables.swap(newtables);
		}
	}
private:
	vector<Node*> _tables;
	size_t _n = 0;
};

5. 开散列与闭散列比较

应用链地址法处理溢出，需要增设链接指针，似乎增加了存储开销。事实上：由于开地址法必须保持大量的空闲空间以确保搜索效率，如二次探查法要求装载因子a <=0.7，而表项所占空间又比指针大的多，所以使用链地址法反而比开地址法节省存储空间。