哈希表
- Hash一般翻译为散列,也有直接音译为哈希的,这就是把任意长度的输入通过散列算法,变换成固定长度的输出,该输出就是散列值(哈希值);这种转换是一种压缩映射,散列值的空间通常远小于输入的空间,不同的输入可能会散列成相同的输出,所以不可能从散列值来唯一的确定输入值
- 简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。
- 消息摘要算法的使用 md5、SHA-1等
- MessageDigest md = MessageDigest.getInstance(“md5”);
- String source=“柏嘉safsadfsadflsajdflsakdvklxjcvlkjdsl”;
- String ss=Base64.getEncoder().encodeToString(sbyte);
- System.out.println(ss);
- 所有散列函数都有如下一个基本特性:根据同一散列函数计算出的散列值如果不同,那么输入值肯定也不同。但是,根据同一散列函数计算出的散列值如果相同,输入值不一定相同。
哈希冲突
- 当两个不同的输入值,根据同一散列函数计算出相同的散列值的现象,就把它叫做碰撞(哈希碰撞)。哈希碰撞的解决方案为开放地址法和链地址法。
- 以key/value的方式存储数据,采用拉链法综合了数组和链表结构。如果key已知则存取效率较高,但是删除慢,如果不知道key存取则慢,对存储空间使用不充分。最典型的实现是HashMap。
- JDK8+对桶内数据处理从链表转换为红黑树,则查询效率从O(N)提高到O(logN)。当链表中的个数超过8个时并且集合中所有元素个数超过64时会转换为红黑树
Map实现类
- HashMap、TreeMap、LinkedHashMap、Hashtable等
HashMap
-
类定义
-
public class HashMap<K,V> extends AbstractMap<K,V>
-
implements Map<K,V>, Cloneable, Serializable
-
注意:Map接口的定义
-
public interface Map<K, V> 没有父接口
-
具体的内部数据存储方式
-
transient Node<K,V>[] table; //哈希表的本质是一个数组,数组中每一个元素称为一个桶,桶中存放的是键值对transient Set<Map.Entry<K,V>> entrySet;并不是用于实际存储数据,主要用于针对entrySet和keySet两个视图提供支持
-
transient int size;当前集合中的元素个数
-
final float loadFactor; 当前集合的负载因子,当前Map集合中扩容的阈值【负载因子*最大容积】
-
transient int modCount;修改次数,主要用于实现多线程操作时的快死异常
-
重要的阈值
-
static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // aka 16 默认的初始化容积
-
static final int MAXIMUM_CAPACITY = 1 << 30;最大容积值,实际上就是2的30次方
-
static final float DEFAULT_LOAD_FACTOR = 0.75f; 默认的负载因子/加载因子
-
static final int TREEIFY_THRESHOLD = 8;//树化阈值:即链表转成红黑树的阈值,在存储数据时,当链表长度 > 该值时,则将链表转换成红黑树
-
static final int MIN_TREEIFY_CAPACITY = 64;//最小树形化容量阈值:即 当哈希表中的容量 > 该值时,才允许树形化链表 (即将链表转换成红黑树)否则,若桶内元素太多时,则直接扩容,而不是树形化
-
static final int UNTREEIFY_THRESHOLD = 6;//桶的链表还原阈值:即红黑树转为链表的阈值,当在扩容resize()时(此时HashMap的数据存储位置会重新计算),在重新计算存储位置后,当原有的红黑树内数量 < 6时,则将红黑树转换成链表
-
内部存储的实现
-
静态内部类用于实现Entry,HahMap中存放的key/value对就被封装为Node对象。其中key就是存放的键值,用于决定具体的存放位置;value是具体存放的数据,hash就是当前Node对象的hash值,next用于指向下一个Node节点(单向链表)
-
static class Node<K,V> implements Map.Entry<K,V> {
final int hash; 当前节点的hash值
final K key; 该节点存储的key值
V value; 该节点存储的value值
Node<K,V> next; 下一个节点对象 — 默认使用单向链表结构,当一个链表上的节点数>8并且总存储元素个数>64时自动转换为红黑树 -
构造器
-
public HashMap() {
this.loadFactor = DEFAULT_LOAD_FACTOR; //给属性loadFactor负载因子赋默认值0.75
//并没有对数组进行初始化操作。采用延迟初始化的策略可以节约空间
}//当指定初始化容积时,调用另外的构造器进行HashMap的初始化,采用默认的负载因子0.75
public HashMap(int initialCapacity) {
this(initialCapacity, DEFAULT_LOAD_FACTOR);
}//2个参数的构造器,参数1初始化容积大小,参数2负载因子
public HashMap(int initialCapacity, float loadFactor) {
//对初始化容积值进行合法性验证,如果<0则抛出异常
if (initialCapacity < 0)
throw new IllegalArgumentException("Illegal initial capacity: " + initialCapacity);
if (initialCapacity > MAXIMUM_CAPACITY)
initialCapacity = MAXIMUM_CAPACITY;if (loadFactor <= 0 || Float.isNaN(loadFactor)) 负载因子应该在(0,1]之间的浮点数 //负载因子越小,哈希碰撞的概率越低,也就意味着链表长度越小,但是浪费空间;如果值越大,则节约空间,但是哈希碰撞概论提高,所以一般建议值在(0,1]之间 throw new IllegalArgumentException("Illegal load factor: " + loadFactor); this.loadFactor = loadFactor; //接收合法的负载因子值 this.threshold = tableSizeFor(initialCapacity); 并不是直接使用传入的参数作为初始化数组的长度,而是将 传入的整数转换大于等于initialCapacity的最小2的n次方值 例如initialCapacity=5,则真正的初始化容积为8 initialCapacity=10,则真正的初始化容积为16
}
Float.isNaN判断参数是否为一个不是数值 NaN含义为Not a number
public static boolean isNaN(float v) {
return (v != v);
}//根据传入的初始化容积值求一个合法的初始化容积值
static final int tableSizeFor(int cap) {
int n = -1 >>> Integer.numberOfLeadingZeros(cap - 1);
return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
} -
HashMap()采用所有的默认配置值,其中的参数值有initialCapacity:int初始化容积,默认值DEFAULT_INITIAL_CAPACITY=16,第2个参数是loadFactor:float用于设置加载因子,取值范围为(0,1],默认值为DEFAULT_LOAD_FACTOR=0.75,值越大则存储数据越多,hash冲突的概率越高;值越小则越浪费空间,但是hash冲突的概率越低。为了减少hash冲突,引入了加载因子,加载因子表示容器中最多存储百分子多少的数据。例如默认容器为16,默认加载因子为0.75,则表示最多存储16*0.75个元素,如果大于这个值则需要进行扩容
-
tableSizeFor用于计算容积值,不是设置多少就是多少。就是计算一个2**n值>=设定的容积值.例
-
如初始化容积参数值为7则实际创建容积值为8
-
注意:在构造器中并没有创建任何用于存储数据的集合—延迟加载,第一次存储数据时才进行空间分配
-
为什么初始化容积值需要转换位2的n次方?
-
求余的实现方法:
-
2%8=2 2 & (8-1) 0010 & 0111 = 0010
-
9%8=1 9 & (8-1) 1001 & 0111 = 0001
-
15%8=7 15 & (8-1) 1111 & 0111=0111
-
每个Node[]数组中的元素被称一个桶bucket,一个桶对应一个hash映射的值,例如0,1等,可能会出现不同的key,但是hash映射的位置相同,例如16、32等,这采用链表结构存储hash映射值相同的所有数据(JDK8+在单个链表长度大于阈值8时自动转换为红黑树,删除节点使某单个链表节点数小于阈值6时会自动从红黑树退化为链表结构)
-
相关参数:
-
- capacity:当前数组容量,始终保持 2^n,可以扩容,扩容后数组大小为当前的2倍。
-
- loadFactor:负载因子,默认为 0.75。
-
- threshold:扩容的阈值,等于 capacity * loadFactor
-
JDK1.8以前版本的实现HashMap底层采用的是Entry数组和链表实现。JDK1.8和以后的版本是采用Node数组(Entry)+ 单向链表 + 红黑树 实现
-
Map主要用于存储键key值value对,根据键得到值,因此键不允许重复,但允许值重复。
-
HashMap是一个最常用的Map,它根据键的HashCode值存储数据,根据键可以直接获取它的值,具有很快的访问速度。
-
HashMap最多只允许一条记录的键为null;允许多条记录的值为null
-
HashMap不支持线程的同步,即任一时刻可以有多个线程同时写HashMap;可能会导致数据的不一致,在JDK1.7中会出现环形链,虽然JDK1.8不会出现环形链,但是还会有rehash操作出现死循环、脏读问题、size值不准确等问题。如果需要同步,可以用Collections的synchronizedMap方法使HashMap具有同步的能力。
-
如何判断环型链?
-
创建一个Set,然后遍历整个集合,将每个元素的key值存入set,如果要存的key值已经存储在set中,则出现环型链
-
Java7中使用Entry来代表每个HashMap中的数据节点,Java8中使用Node,基本没有区别,都是key,value,hash和next这四个属性,不过,Node只能用于链表的情况,红黑树的情况需要使用TreeNode。
-
TREEIFY_THRESHOLD为 8如果新插入的值是链表中的第 9 个会触发下面的 treeifyBin(树化操作,就是将单向链转换为红黑树),也就是将链表转换为红黑树。
-
JDK8+插入数据到链表的最后面,Java7是插入到链表的最前面
-
HashMap的put方法的具体流程
-
public V put(K key, V value) { 以key存储value值,返回原始位置上的value值
-
//先执行hash(key)根据key获取一个hash值, 参数2是要存储的key值,参数3是要存储的value,参数4表示如果当前位置已存在一个值,是否替换,false是替换,true是不替换。参数5是否在创建模式,如果为false,则表是在创建模式
return putVal(hash(key), key, value, false, true);
}
-
hash方法:将高位数据移位到低位进行异或计算,这是因为有些数据计算出的哈希值差异在于高位,而HashMap里的哈希寻址是忽略容量
以上的高位的,可以有效地避免类似情况下的哈希碰撞
static final int hash(Object key) {
int h;
return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}
final V putVal(int hash, K key, V value, boolean onlyIfAbsent, boolean evict) {
Node<K,V>[] tab;
Node<K,V> p;
int n, i;
// 1.如果table为空或者长度为0,即没有元素,那么使用resize()方法扩容。resize方法
* 兼顾两个职责,创建初始化数组[因为数组采用的是延迟处理]或者在容量不满足需求时进
* 行扩容处理。插入数据if (++size > threshold)resize();进行条件扩容
if ((tab = table) == null || (n = tab.length) == 0)
n = (tab = resize()).length;
// 2.计算插入存储的数组索引i,此处计算方法同的indexFor()方法,如果数组为空,即不存在Hash冲突,则直接插入数组
if ((p = tab[i = (n - 1) & hash]) == null)
tab[i] = newNode(hash, key, value, null);
else {
Node<K,V> e; K k;
if (p.hash == hash &&
((k = p.key) == key || (key != null && key.equals(k))))
e = p;
else if (p instanceof TreeNode)
e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
else {
for (int binCount = 0; ; ++binCount) {
if ((e = p.next) == null) {
p.next = newNode(hash, key, value, null);
if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
treeifyBin(tab, hash);
break;
}
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
break;
p = e;
}
}
if (e != null) { // existing mapping for key
V oldValue = e.value;
if (!onlyIfAbsent || oldValue == null)
e.value = value;
afterNodeAccess(e);
return oldValue;
}
}
++modCount;
if (++size > threshold)
resize();
afterNodeInsertion(evict);
return null;
}
final Node<K,V>[] resize() {
Node<K,V>[] oldTab = table;
int oldCap = (oldTab == null) ? 0 : oldTab.length;
int oldThr = threshold;
int newCap, newThr = 0;
if (oldCap > 0) {
if (oldCap >= MAXIMUM_CAPACITY) {
threshold = Integer.MAX_VALUE;
return oldTab;
}
else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
oldCap >= DEFAULT_INITIAL_CAPACITY)
newThr = oldThr << 1; // double threshold
}
else if (oldThr > 0) // initial capacity was placed in threshold
newCap = oldThr;
else { // zero initial threshold signifies using defaults
newCap = DEFAULT_INITIAL_CAPACITY;
newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
}
if (newThr == 0) {
float ft = (float)newCap * loadFactor;
newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
(int)ft : Integer.MAX_VALUE);
}
threshold = newThr;
@SuppressWarnings({"rawtypes","unchecked"})
Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
table = newTab;
if (oldTab != null) {
for (int j = 0; j < oldCap; ++j) {
Node<K,V> e;
if ((e = oldTab[j]) != null) {
oldTab[j] = null;
if (e.next == null)
newTab[e.hash & (newCap - 1)] = e;
else if (e instanceof TreeNode)
((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
else { // preserve order
Node<K,V> loHead = null, loTail = null;
Node<K,V> hiHead = null, hiTail = null;
Node<K,V> next;
do {
next = e.next;
if ((e.hash & oldCap) == 0) {
if (loTail == null)
loHead = e;
else
loTail.next = e;
loTail = e;
}
else {
if (hiTail == null)
hiHead = e;
else
hiTail.next = e;
hiTail = e;
}
} while ((e = next) != null);
if (loTail != null) {
loTail.next = null;
newTab[j] = loHead;
}
if (hiTail != null) {
hiTail.next = null;
newTab[j + oldCap] = hiHead;
}
}
}
}
}
return newTab;
}
哈希方法总结
HashMap基于Hash算法实现的
- 当往Hashmap中put元素时,利用key的hashCode重新hash计算出当前对象的元素在数组中 的下标
- hashmap存储时,如果出现hash值相同的key,此时有两种情况。
- 如果key相同,则覆盖原始值
- 如果key不同出现冲突,则将当前的key-value 放入链表中[尾插法]
- 按照key值获取数据时,直接找到hash值对应的下标,在进一步判断key是否相同,从而找到对应值
HashMap解决hash冲突的问题核心就是使用了数组的存储方式,然后将冲突的key的对象放入链表中,一旦发现冲突就在链表中做进一步的对比。
需要注意Jdk 1.8中对HashMap的实现做了优化,当链表中的节点数据超过8个后,该链表会转为红黑树来提高查询效率,从原来的O(n)到O(logn)
简单总结
当put的时候,首先计算key的hash值,这里调用了hash方法,hash方法实际是让key.hashCode()
与key.hashCode()>>>16进行异或操作,高16bit补0,一个数和0异或不变,所以hash函数大概的
作用是:高16bit不变,低16bit和高16bit做了一个异或,目的是减少碰撞。
按照函数注释,因为bucket数组大小是2的幂,计算下标index = (table.length-1)&hash,如果
不做hash处理,相当于散列生效的只有几个低bit位,为了减少散列的碰撞,设计综合考虑了速度
、作用、质量之后,使用高16bit和低16bit异或来简单处理减少碰撞,而且JDK8+中用了复杂度
O(logn)红黑树结构来提升碰撞下的性能。
为什么HashMap中String、Integer这样的包装类适合作为Key
String、Integer等包装类的特性能够保证Hash值的不可更改性和计算准确性,能够有效的减少Hash碰撞的几率
- 都是final类型,即不可变性,保证key的不可更改性,不会存在获取hash值不同的情况
- 内部已重写了equals()、hashCode()等方法,遵守了HashMap内部的规范,不容易出现Hash值计算错误的情况;
要让自己的Object作为Key应该怎么办呢
重写hashCode()和equals()方法
- 重写hashCode()是因为需要计算存储数据的存储位置,需要注意不要试图从散列码计算中排除掉一个对象的关键部
分来提高性能,这样虽然能更快但可能会导致更多的Hash碰撞 - 重写equals()方法,需要遵守自反性、对称性、传递性、一致性以及对于任何非null的引用值x,x.equals(null)
必须返回false的这几个特性,目的是为了保证key在哈希表中的唯一性
HashMap是怎么解决哈希冲突的
在Java中,保存数据有两种比较简单的数据结构:数组和链表。
数组的特点是:寻址容易,插入和删除困难;
链表的特点是:寻址困难,但插入和删除容易;所以将数组和链表结合在一起,发挥两者各自的优势,使用一种叫做链地址法的方式可以解决哈希冲突
这样就可以将拥有相同哈希值的对象组织成一个链表放在hash值所对应的bucket下,但相比于
hashCode返回的int类型,我们HashMap初始的容量大小DEFAULT_INITIAL_CAPACITY = 1 << 4
(即2的四次方16)要远小于int类型的范围,所以我们如果只是单纯的用hashCode取余来获取对
应的bucket这将会大大增加哈希碰撞的概率,并且最坏情况下还会将HashMap变成一个单链表,
所以我们还需要对hashCode作一定的优化
主要是因为如果使用hashCode取余,那么相当于参与运算的只有hashCode的低位,高位是没有起到任何作用的,所以思路就是让hashCode取值出的高位也参与运算,进一步降低hash碰撞的概率,使得数据分布更平均,我们把这样的操作称为扰动
static final int hash(Object key) {
int h;
return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);// 与自己右移16位进行异或运算(高低位异或)
}
这比在JDK 1.7中,更为简洁,相比在1.7中的4次位运算,5次异或运算(9次扰动),在1.8中,只进行了1次位运算和1次异或运算(2次扰动)
JDK1.8新增红黑树
通过上面的链地址法(使用散列表)和扰动函数我们成功让我们的数据分布更平均,哈希碰撞减少,但是当我们的HashMap中存在大量数据时,加入我们某个bucket下对应的链表有n个元素,那么遍历时间复杂度就为O(n),为了针对这个问题,JDK1.8在HashMap中新增了红黑树的数据结构,进一步使得遍历复杂度降低至O(logn)
总结
简单总结一下HashMap是使用了哪些方法来有效解决哈希冲突的:
- 使用链地址法(使用散列表)来链接拥有相同hash值的数据;
- 使用2次扰动函数(hash函数)来降低哈希冲突的概率,使得数据分布更平均;
- 引入红黑树进一步降低遍历的时间复杂度,使得遍历更快
HashMap为什么不直接使用hashCode()处理后的哈希值直接作为table的下标
hashCode()方法返回的是int整数类型,其范围为-(2 ^ 31)~(2 ^ 31 - 1),约有40亿
个映射空间,而HashMap的容量范围是在16(初始化默认值)~2 ^ 30
,HashMap通常
情况下是取不到最大值的,并且设备上也难以提供这么多的存储空间,从而导致通过
hashCode()计算出的哈希值可能不在数组大小范围内,进而无法匹配存储位置
-
HashMap自己实现了自己的hash()方法,通过两次扰动使得它自己的哈希值高低位自行
进行异或运算,降低哈希碰撞概率也使得数据分布更平均 -
在保证数组长度为2的幂次方的时候,使用hash()运算之后的值与运算(&)(数组长度 - 1)
来获取数组下标的方式进行存储,这样一来是比取余操作更加有效率,二来也是因为只有当
数组长度为2的幂次方时,h&(length-1)才等价于h%length,三来解决了“哈希值与数组大小
范围不匹配”的问题;
为什么数组长度要保证为2的幂次方呢
只有当数组长度为2的幂次方时,h&(length-1)
才等价于h%length
,即实现了key的定位
,2的幂次方也可以减少冲突次数,提高HashMap的查询效率;如果length为2的次幂则length-1转化为二进制必定是11111……的形式,在于h的二进制与操作效率会非常的快,而且空间不浪费;如果length不是2的次幂,比如length为15,则length-1为 14,对应的二进制为1110,在于h与操作,最后一位都为0,而0001,0011,0101,1001,1011,0111,1101 这几个位置永远都不能存放元素了,空间浪费相当大,更糟的是这种情况中,数组可以使用的位置比数组长度小了很多,这意味着进一步增加了碰撞的几率,减慢了查询的效率!这样就会造成空间的浪费
为什么是两次扰动
两次扰动就是加大哈希值低位的随机性,使得分布更均匀,从而提高对应数组存储下标位置的随机性
&均匀性,最终减少Hash冲突,两次就够了,已经达到了高位低位同时参与运算的目的