HashMap的详细了解
HashMap简介
HashMap是基于哈希表实现的,每一个元素是一个key-value键值对,其内部通过数组加链表解决冲突问题,容量不足时,会自动扩容。
JDK1.8对HashMap进行了表较大的优化,底层实现由之前的“数组+链表”改成“数组+链表+红黑树”。
JDK1.8的HashMap的数据结构如下图所示,当链表节点较小时扔以链表存在,当链表节点较多时(大于8)且数组大小>=64时,会转化为红黑树,当红黑树的节点个数小于6时会重新转化为链表。
HashMap的数据插入原理
图解如下:
解释:
- 判断数组是否为空,为空进行初始化
- 不为空,计算k的hash值,通过 (n-1) & hash计算应当存放在数组中的下标index
- 查看table[index]是否存在数据,没有数据就构造一个Node节点存放在table[index]中;
- 存在数据,说明发生了hash冲突(存在两个key的hash值一样),继续判断key是否相等,相等的话,用新的value值代替原先value的值;
- 如果不相等,判断当前节点类型是不是红黑树节点,如果是树形节点,创建树形节点插入红黑树中;
- 如果不是树形节点,创建普通的Node加入链表中;判断链表的长度是否大于8并且数组长度大于64,大于的话链表转换为红黑树。
- 插入完成之后判断当前节点数是否大于阈值,如果大于开始扩容到原数组的两倍
为什么红黑树不在个数为8时进行转换?是为了避免红黑树和链表之间的频繁转换。
HashMap怎么设置初始容量的大小
创建HashMap时不传值,默认大小是16,负载因子是0.75,如果传入初始大小n,初始化大小为大于n的2的整数次方,例如如果传入的是50,那么默认大小为64。(补充说明实现代码如下)
static final int tableSizeFor(int cap){
int n = cap - 1;
n |= n >>> 1;
n |= n >>> 2;
n |= n >>> 4;
n |= n >>> 8;
n |= n >>> 16;
return (n < 0)? 1 : (n>=MAXIMUN_CAPACITY) ? n + 1;
}
补充说明:下图是详细过程,算法就是让初始二进制右移1,2,4,8,16位,分别于自己位或,把高位第一个为1的数通过不断右移,把高位为1的后面全部变为1,最后在进行+1操作,63 + 1 = 64= 2^6(符合大于50并且是2的整数次幂)
HashMap的哈希函数怎么设计的?
hash函数是先拿到key的hashcode,是一个32位的int值,然后让hashcode的高16和低16位进行异或操作。
static final int hash(Object key) {
int h;
return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}
面试题:为什么要这么设计?
回答:这个叫做 扰动函数,这么设计有两点原因:
- 一定要尽可能降低hash碰撞,越分散越好;
- 算法一定要尽可能的高效,因为这是高频操作,因此采用位运算。
面试题:为什么采用hashcode的高16位与低16位异或能降低hash碰撞?hash函数能不能直接直接用key的hashcode?
回答:
因为key.hashCode()函数调用的是key键值类型自带的哈希函数,返回int型散列值。int的范围为 -2147483648~2147483647,前后加起来大概有40亿的映射空间。只要哈希函数映射得比较均匀分散,一般应用是很难出现碰撞的。但问题是一个40亿长度的数组,内存是放不下的。 一个hashMap数组的出事大小才16,用之前需要对数组的长度进行取模运算,得到的余数才能用来访问数组下标。
源代码中模运算就是把散列值和数组长度-1做一个与操作,位运算比取余%运算更快
bucketIndex = indexFor(hash, table.length);
static int indexFor(int h, int length) {
return h & (length-1);
}
顺便说一下,这正好解释了为什么HashMap的数组长度要取2的整数幂。因为这样(数组长度-1)正好相当于一个“低位掩码”。“与”操作的结果就是散列值的高位全部归零,只保留低位值,用来做数组下标访问。以初始长度16为例,16 - 1 = 15。二进制表示未00000000 00000000 00001111。和某散列值做“与”操作如下,结果就是截取了最低的四位值。
10100101 11000100 00100101
& 00000000 00000000 00001111
----------------------------------
00000000 00000000 00000101 //高位全部归零,只保留末四位
但这时候问题来了,这样就算我的散列值分布在松散,要是只取最后几位的话,碰撞也会很严重。更要命的是如果散列本身做的不好,分布上成等差数列的漏洞,如果正好让最后几个低位呈现规律性重复,就难办了。
这种时候,“扰动函数”的价值就体现出来了,看下面这个图
右移16位,正好是32位的一半,自己的高半区和底半区做异或,就是为了混合原始哈希码的高位和低位,以此加大低位的随机性。而且混合后的低位掺杂了高位的部分特征,这样高位的信息也被变相的保留了一下。(这里的高位信息被变相的保留下来,没有太明白)
最后我们来看一下Peter Lawley的一篇专栏文章《An introduction to optimising a hashing strategy》里的的一个实验:他随机选取了352个字符串,在他们散列值完全没有冲突的前提下,对它们做低位掩码,取数组下标。
结果显示,当HashMap数组长度为512的时候( 2 9 2^9 29),也就是用掩码取低9位的时候,在没有扰动函数的情况下,发生了103次碰撞,接近30%。而在使用了扰动函数之后只有92次碰撞。碰撞减少了将近10%。看来扰动函数确实还是有功效的。
另外Java1.8相比1.7做了调整,1.7做了四次移位和四次异或,但明显Java 8觉得扰动做一次就够了,做4次的话,多了可能边际效用也不大,所谓为了效率考虑就改成一次了。
下面是1.7的hash代码:
static int hash(int h) {
h ^= (h >>> 20) ^ (h >>> 12);
return h ^ (h >>> 7) ^ (h >>> 4);
}
1.8对HashMap的优化
前面的hash函数已经说过了,这里还有三点主要的优化:
- 数组+链表改成了数组+链表+红黑树
- 链表的插入方式从头插法改成了尾插法,简单来说就是插入时,如果数组位置已有元素,1.7版本是将新元素放到数组中,原始节点作为新节点的后续节点,而1.8版本则是遍历链表,将元素放置到链表的最后
- 扩容的时候1.7版本需要对原数组中的元素进行重新hash定位在新数组的位置。而1.8版本采用更简单的扩容逻辑,位置不变或索引+旧容器大小
- 插入时,1.7版本先判断是否需要扩容,在插入,而1.8版本是先进行插入,插入完成在判断是否需要进行扩容。
为什么要又这么几点优化?
- 防止发生hash冲突,链表长度过长,将时间复杂度 0(n)降为0(logn)
- 1.7版本头插法扩容的时候,头插会使链表发生反转,多线程下回产生环;
A线程在插入节点x,B线程也在插入,遇到容量不够开始扩容,重新计算hash,放置元素,采用头插法,后遍历到的x节点放到头部,这样形成了环
1.7的扩容调用transfer代码,如下所示:
void transfer(Entry[] newTable, boolean rehash) {
int newCapacity = newTable.length;
for (Entry<K,V> e : table) {
while(null != e) {
Entry<K,V> next = e.next;
if (rehash) {
e.hash = null == e.key ? 0 : hash(e.key);
}
int i = indexFor(e.hash, newCapacity);
e.next = newTable[i]; //A线程如果执行到这一行挂起,B线程开始进行扩容
newTable[i] = e;
e = next;
}
}
}
- 扩容的时候为什么1.8用重新hash就可以直接定位原节点在新数据的位置呢?
这个是由于扩容是扩大为原数组大小的2倍,用于计算数组位置的掩码仅仅只是高位多了一个1,怎么理解呢?
扩容前长度为16,用于计算(n-1) & hash的二进制n-1为0000 1111,扩容为32后二进制就高位多了一个1,为0001 1111。
因为是&运算,1和任何数&都是它本身,那就分两种情况,如下图,原数据hashcode高位第4位为0和高位为1的情况;
第四位高位为0,重新hash数值不变,第四位为1的话,重新hash数值比原来大16(旧数组容量)
HashMap是线程安全的吗?
不是,在多线程环境下,1.7会产生死循环、数据丢失、数据覆盖问题,1.8中会有数据覆盖的问题,用1.8版本为例子,当A线程判断index位置为空后正好好挂起,B线程开始往index位置写入节点数据,这时A线程恢复线程,执行赋值操作,就把A线程的数据给覆盖了;还有++size这个地方也会造成多线程同时扩容等问题。
void transfer(Entry[] newTable, boolean rehash) {
int newCapacity = newTable.length;
for (Entry<K,V> e : table) {
while(null != e) {
Entry<K,V> next = e.next;
if (rehash) {
e.hash = null == e.key ? 0 : hash(e.key);
}
int i = indexFor(e.hash, newCapacity);
e.next = newTable[i]; //A线程如果执行到这一行挂起,B线程开始进行扩容
newTable[i] = e;
e = next;
}
}
}
如何解决线程不安全问题?
Java中有HashTable、Collections.synchronizedMap以及ConcurrenthashMap可以实现线程安全的map.
HashTable是直接在操作方法上面加synchronized关键字,锁住整合数组,粒度比较大,
Collections。synchronizedMap是使用Collections集合工具的内部类,通过传入Map封装出一个SynchronizedMap对象,内部定义了一个对象锁,方法内通过对象锁实现;ConcurrentHashMap使用分段锁,降低了锁粒度,让并发度大大提高。
ConcurrentHashMap的分段锁原的实现原理是什么?
ConcurrentHashMap成员变量使用volatile修饰,免除了指令重排序,同时保证内存的可见性,另外使用CAS操作和synchronized结合实现赋值操作,多线程操作只会锁住当前操作索引的节点。
如下图,线程A锁住A节点所在的链表,线程B锁住B节点所在的链表,操作互不干涉。
链表转红黑树是链表长度达到阈值为什么是8,而红黑树的阈值是6?
经过计算,在hash函数设计合理的情况下,发生hash碰撞8次的几率为百万分之6,概率说话。。因为8够用了,至于为什么转回来是6,因为如果hash碰撞次数在8附近徘徊,会一直发生链表和红黑树的互相转化,为了预防这种情况的发生。
HashMap内部节点是有序的吗?
是无序的,根据hash值随机插入
有没有有序的Map?
LinkedHashMap和TreeMap
LinedhashMapn内部维护了一个单链表,有头尾节点,同时LinkedHashMap节点Entry内部除了继承HashMap的Node属性,还有before和after用于标记前置节点和后置节点。可以实现按插入顺序或访问顺序进行排序。
/**
* The head (eldest) of the doubly linked list.
*/
transient LinkedHashMap.Entry<K,V> head;
/**
* The tail (youngest) of the doubly linked list.
*/
transient LinkedHashMap.Entry<K,V> tail;
//链接新加入的p节点到链表后端
private void linkNodeLast(LinkedHashMap.Entry<K,V> p) {
LinkedHashMap.Entry<K,V> last = tail;
tail = p;
if (last == null)
head = p;
else {
p.before = last;
last.after = p;
}
}
//LinkedHashMap的节点类
static class Entry<K,V> extends HashMap.Node<K,V> {
Entry<K,V> before, after;
Entry(int hash, K key, V value, Node<K,V> next) {
super(hash, key, value, next);
}
}
public static void main(String[] args) {
Map<String,Integer> map = new HashMap<>();
Map<String,Integer> linkedHashMap = new LinkedHashMap<>();
linkedHashMap.put("张三",15);
linkedHashMap.put("李四",21);
linkedHashMap.put("王一",39);
linkedHashMap.put("赵二",56);
linkedHashMap.put("钱六",15);
System.out.println("LinkedHashMap:");
linkedHashMap.forEach((key, value) -> System.out.println(key + " :" + value));
System.out.println("HashMap:");
map.put("张三",15);
map.put("李四",21);
map.put("王一",39);
map.put("赵二",56);
map.put("钱六",15);
map.forEach((key, value) -> System.out.println(key + " :" + value));
}
//console输出
LinkedHashMap:
张三 :15
李四 :21
王一 :39
赵二 :56
钱六 :15
HashMap:
李四 :21
张三 :15
赵二 :56
王一 :39
钱六 :15
TreeMap是如何实现有序的?
TreeMap是按照key的自然顺序或者Comprator的顺序进行排序,内部是通过红黑树来实现。所以要么key所属的类实现Comparable接口,或者自定义一个Comparable接口的比较器,传给TreeMap用于key的比较
HashMap实现了Serializable接口,因此它支持序列化,实现了Cloneable接口,可以被克隆。