剖析ConcurrentHashMap源码

一、HashMap和ConcurrentHashMap的对比

我们用一段代码证明下HashMap的线程不安全,以及ConcurrentHashMap的线程安全性。代码逻辑很简单,开启10000个线程,每个线程做很简单的操作,就是put一个key,然后删除一个key,理论上线程安全的情况下,最后map的size()肯定为0。


 
 
  1. Map<Object,Object> myMap= new HashMap<>();
  2. // ConcurrentHashMap myMap=new ConcurrentHashMap();
  3. for ( int i = 0; i < 10000 ; i++) {
  4. new Thread( new Runnable() {
  5. @ Override
  6. public void run( ) {
  7. double a=Math.random();
  8. myMap.put(a,a);
  9. myMap. remove(a);
  10. }
  11. }).start();
  12. }
  13. Thread.sleep( 15000l); //多休眠下,保证上面的线程操作完毕。
  14. System. out.println(myMap.size());

这里显示Map的size=13,但是实际上map里还有一个key。 同样的代码我们用ConcurrentHashMap来运行下,结果map ==0

这里也就证明了ConcurrentHashMap是线程安全的,我们接下来从源码分析下ConcurrentHashMap是如何保证线程安全的,本次源码jdk版本为1.8。

二、ConcurrentHashMap源码分析

3.1 ConcurrentHashMap的基础属性


 
 
  1. //默认最大的容量
  2. private static final int MAXIMUM_CAPACITY = 1 << 30;
  3. //默认初始化的容量
  4. private static final int DEFAULT_CAPACITY = 16;
  5. //最大的数组可能长度
  6. static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8;
  7. //默认的并发级别,目前并没有用,只是为了保持兼容性
  8. private static final int DEFAULT_CONCURRENCY_LEVEL = 16;
  9. //和hashMap一样,负载因子
  10. private static final float LOAD_FACTOR = 0.75f;
  11. //和HashMap一样,链表转换为红黑树的阈值,默认是8
  12. static final int TREEIFY_THRESHOLD = 8;
  13. //红黑树转换链表的阀值,默认是6
  14. static final int UNTREEIFY_THRESHOLD = 6;
  15. //进行链表转换最少需要的数组长度,如果没有达到这个数字,只能进行扩容
  16. static final int MIN_TREEIFY_CAPACITY = 64;
  17. //table扩容时, 每个线程最少迁移table的槽位个数
  18. private static final int MIN_TRANSFER_STRIDE = 16;
  19. //感觉是用来计算偏移量和线程数量的标记
  20. private static int RESIZE_STAMP_BITS = 16;
  21. //能够调整的最大线程数量
  22. private static final int MAX_RESIZERS = ( 1 << ( 32 - RESIZE_STAMP_BITS)) - 1;
  23. //记录偏移量
  24. private static final int RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS;
  25. //值为-1, 当Node.hash为MOVED时, 代表着table正在扩容
  26. static final int MOVED = - 1;
  27. //TREEBIN, 置为-2, 代表此元素后接红黑树
  28. static final int TREEBIN = - 2;
  29. //感觉是占位符,目前没看出来明显的作用
  30. static final int RESERVED = - 3;
  31. //主要用来计算Hash值的
  32. static final int HASH_BITS = 0x7fffffff;
  33. //节点数组
  34. transient volatile Node<K,V>[] table;
  35. //table迁移过程临时变量, 在迁移过程中将元素全部迁移到nextTable上
  36. private transient volatile Node<K,V>[] nextTable;
  37. //基础计数器
  38. private transient volatile long baseCount;
  39. //table扩容和初始化的标记,不同的值代表不同的含义,默认为0,表示未初始化
  40. //-1: table正在初始化;小于-1,表示table正在扩容;大于0,表示初始化完成后下次扩容的大小
  41. private transient volatile int sizeCtl;
  42. //table容量从n扩到2n时, 是从索引n->1的元素开始迁移, transferIndex代表当前已经迁移的元素下标
  43. private transient volatile int transferIndex;
  44. //扩容时候,CAS锁标记
  45. private transient volatile int cellsBusy;
  46. //计数器表,大小是2次幂
  47. private transient volatile CounterCell[] counterCells;

上面就是ConcurrentHashMap的基本属性,我们大部分和HashMap一样,只是增加了部分属性,后面我们来分析增加的部分属性是起到如何的作用的。

2.2 ConcurrentHashMap的常用方法属性

  • put方法

 
 
  1. final V putVal(K key, V value, boolean onlyIfAbsent) {
  2. //key和value不允许为null
  3. if (key == null || value == null) throw new NullPointerException();
  4. //计算hash值
  5. int hash = spread(key.hashCode());
  6. int binCount = 0;
  7. for (Node<K,V>[] tab = table;;) {
  8. Node<K,V> f; int n, i, fh;
  9. //如果table没有初始化,进行初始化
  10. if (tab == null || (n = tab.length) == 0)
  11. tab = initTable();
  12. //计算数组的位置
  13. else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
  14. //如果该位置为空,构造新节点添加即可
  15. if (casTabAt(tab, i, null,
  16. new Node<K,V>(hash, key, value, null)))
  17. break; // no lock when adding to empty bin
  18. } //如果正在扩容
  19. else if ((fh = f.hash) == MOVED)
  20. //帮着一起扩容
  21. tab = helpTransfer(tab, f);
  22. else {
  23. //开始真正的插入
  24. V oldVal = null;
  25. synchronized (f) {
  26. if (tabAt(tab, i) == f) {
  27. //如果已经初始化完成了
  28. if (fh >= 0) {
  29. binCount = 1;
  30. for (Node<K,V> e = f;; ++binCount) {
  31. K ek;
  32. //这里key相同直接覆盖原来的节点
  33. if (e.hash == hash &&
  34. ((ek = e.key) == key ||
  35. (ek != null && key. equals(ek)))) {
  36. oldVal = e.val;
  37. if (!onlyIfAbsent)
  38. e.val = value;
  39. break;
  40. }
  41. Node<K,V> pred = e;
  42. //否则添加到节点的最后面
  43. if ((e = e.next) == null) {
  44. pred.next = new Node<K,V>(hash, key, value, null);
  45. break;
  46. }
  47. }
  48. } //如果节点是树节点,就进行树节点添加操作
  49. else if (f instanceof TreeBin) {
  50. Node<K,V> p;
  51. binCount = 2;
  52. if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,alue)) != null) {
  53. oldVal = p.val;
  54. if (!onlyIfAbsent)
  55. p.val = value;
  56. }
  57. }
  58. }
  59. } //判断节点是否要转换成红黑树
  60. if (binCount != 0) {
  61. if (binCount >= TREEIFY_THRESHOLD)
  62. treeifyBin(tab, i); //红黑树转换
  63. if (oldVal != null)
  64. return oldVal;
  65. break;
  66. }
  67. }
  68. }
  69. //计数器,采用CAS计算size大小,并且检查是否需要扩容
  70. addCount( 1L, binCount);
  71. return null;
  72. }

我们发现ConcurrentHashMap的put方法和HashMap的逻辑相差不大,主要是新增了线程安全部分,在添加元素时候,采用synchronized来保证线程安全,然后计算size的时候采用CAS操作进行计算。整个put流程比较简单,总结下就是:

1.判断key和vaule是否为空,如果为空,直接抛出异常。

2.判断table数组是否已经初始化完毕,如果没有初始化,进行初始化。

3.计算key的hash值,如果该位置为空,直接构造节点放入。

4.如果table正在扩容,进入帮助扩容方法。

5.最后开启同步锁,进行插入操作,如果开启了覆盖选项,直接覆盖,否则,构造节点添加到尾部,如果节点数超过红黑树阈值,进行红黑树转换。如果当前节点是树节点,进行树插入操作。

6.最后统计size大小,并计算是否需要扩容。

get方法


 
 
  1. public V get(Object key) {
  2. Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek;
  3. //计算hash值
  4. int h = spread(key.hashCode());
  5. //如果table已经初始化,并且计算hash值的索引位置node不为空
  6. if ((tab = table) != null && (n = tab.length) > 0 &&
  7. (e = tabAt(tab, (n - 1) & h)) != null) {
  8. //如果hash相等,key相等,直接返回该节点的value
  9. if ((eh = e.hash) == h) {
  10. if ((ek = e.key) == key || (ek != null && key.equals(ek)))
  11. return e. val;
  12. } //如果hash值为负值表示正在扩容,这个时候查的是ForwardingNode的find方法来定位到节点。
  13. else if (eh < 0)
  14. return (p = e.find(h, key)) != null ? p. val : null;
  15. //循环遍历链表,查询key和hash值相等的节点。
  16. while ((e = e.next) != null) {
  17. if (e.hash == h &&
  18. ((ek = e.key) == key || (ek != null && key.equals(ek))))
  19. return e. val;
  20. }
  21. }
  22. return null;
  23. }

get方法比较简单,主要流程如下:

1.直接计算hash值,查找的节点如果key和hash值相等,直接返回该节点的value就行。

2.如果table正在扩容,就调用ForwardingNode的find方法查找节点。

3.如果没有扩容,直接循环遍历链表,查找到key和hash值一样的节点值即可。

  • ConcurrentHashMap的扩容

ConcurrentHashMap的扩容相对于HashMap的扩容相对复杂,因为涉及到了多线程操作,这里扩容方法主要是transfer,我们来分析下这个方法的源码,研究下是如何扩容的。


 
 
  1. private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
  2. int n = tab.length, stride;
  3. //保证每个线程扩容最少是16,
  4. if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
  5. stride = MIN_TRANSFER_STRIDE; // subdivide range
  6. if (nextTab == null) { // initiating
  7. try {
  8. //扩容2倍
  9. @SuppressWarnings( "unchecked")
  10. Node<K,V>[] nt = (Node<K,V>[]) new Node<?,?>[n << 1];
  11. nextTab = nt;
  12. } catch (Throwable ex) { // try to cope with OOME
  13. //出现异常情况就不扩容了。
  14. sizeCtl = Integer.MAX_VALUE;
  15. return;
  16. }
  17. //用新数组对象接收
  18. nextTable = nextTab;
  19. //初始化扩容下表为原数组的长度
  20. transferIndex = n;
  21. }
  22. int nextn = nextTab.length;
  23. //扩容期间的过渡节点
  24. ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
  25. boolean advance = true;
  26. boolean finishing = false; // to ensure sweep before committing nextTab
  27. for ( int i = 0, bound = 0;;) {
  28. Node<K,V> f; int fh;
  29. while (advance) {
  30. int nextIndex, nextBound;
  31. //如果该线程已经完成了
  32. if (--i >= bound || finishing)
  33. advance = false;
  34. //设置扩容转移下标,如果下标小于0,说明已经没有区间可以操作了,线程可以退出了
  35. else if ((nextIndex = transferIndex) <= 0) {
  36. i = - 1;
  37. advance = false;
  38. }CAS操作设置区间
  39. else if (U.compareAndSwapInt
  40. ( this, TRANSFERINDEX, nextIndex,
  41. nextBound = (nextIndex > stride ?
  42. nextIndex - stride : 0))) {
  43. bound = nextBound;
  44. i = nextIndex - 1;
  45. advance = false;
  46. }
  47. }
  48. //如果计算的区间小于0了,说明区间分配已经完成,没有剩余区间分配了
  49. if (i < 0 || i >= n || i + n >= nextn) {
  50. int sc;
  51. if (finishing) { //如果扩容完成了,进行收尾工作
  52. nextTable = null; //清空临时数组
  53. table = nextTab; //赋值原数组
  54. sizeCtl = (n << 1) - (n >>> 1); //重新赋值sizeCtl
  55. return;
  56. } //如果扩容还在进行,自己任务完成就进行sizeCtl-1,这里是因为,扩容是通过helpTransfer()和addCount()方法来调用的,在调用transfer()真正扩容之前,sizeCtl都会+1,所以这里每个线程完成后就进行-1。
  57. if (U.compareAndSwapInt( this, SIZECTL, sc = sizeCtl, sc - 1)) {
  58. //这里应该是判断扩容是否结束
  59. if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
  60. return;
  61. //结束,赋值状态
  62. finishing = advance = true;
  63. i = n; // recheck before commit
  64. }
  65. } //如果在table中没找到,就用过渡节点
  66. else if ((f = tabAt(tab, i)) == null)
  67. //成功设置就进入下一个节点
  68. advance = casTabAt(tab, i, null, fwd);
  69. else if ((fh = f.hash) == MOVED)
  70. //如果节点不为空,并且该位置的hash值为-1,表示已经处理了,直接进入下一个循环即可
  71. advance = true; // already processed
  72. else {
  73. //这里说明老table该位置不为null,也没有被处理过,进行真正的处理逻辑。进行同步锁
  74. synchronized (f) {
  75. if (tabAt(tab, i) == f) {
  76. Node<K,V> ln, hn;
  77. //如果hash值大于0
  78. if (fh >= 0) {
  79. //为运算结果
  80. int runBit = fh & n;
  81. Node<K,V> lastRun = f;
  82. for (Node<K,V> p = f.next; p != null; p = p.next) {
  83. int b = p.hash & n;
  84. if (b != runBit) {
  85. runBit = b;
  86. lastRun = p;
  87. }
  88. }
  89. if (runBit == 0) {
  90. ln = lastRun;
  91. hn = null;
  92. }
  93. else {
  94. hn = lastRun;
  95. ln = null;
  96. }
  97. for (Node<K,V> p = f; p != lastRun; p = p.next) {
  98. int ph = p.hash; K pk = p.key; V pv = p.val;
  99. //这里的逻辑和hashMap是一样的,都是采用2个链表进行处理,具体分析可以查看我分析HashMap的文章
  100. if ((ph & n) == 0)
  101. ln = new Node<K,V>(ph, pk, pv, ln);
  102. else
  103. hn = new Node<K,V>(ph, pk, pv, hn);
  104. }
  105. setTabAt(nextTab, i, ln);
  106. setTabAt(nextTab, i + n, hn);
  107. setTabAt(tab, i, fwd);
  108. advance = true;
  109. } //如果是树节点,执行树节点的扩容数据转移
  110. else if (f instanceof TreeBin) {
  111. TreeBin<K,V> t = (TreeBin<K,V>)f;
  112. TreeNode<K,V> lo = null, loTail = null;
  113. TreeNode<K,V> hi = null, hiTail = null;
  114. int lc = 0, hc = 0;
  115. for (Node<K,V> e = t.first; e != null; e = e.next) {
  116. int h = e.hash;
  117. TreeNode<K,V> p = new TreeNode<K,V>
  118. (h, e.key, e.val, null, null);
  119. //也是通过位运算判断两个链表的位置
  120. if ((h & n) == 0) {
  121. if ((p.prev = loTail) == null)
  122. lo = p;
  123. else
  124. loTail.next = p;
  125. loTail = p;
  126. ++lc;
  127. }
  128. else {
  129. if ((p.prev = hiTail) == null)
  130. hi = p;
  131. else
  132. hiTail.next = p;
  133. hiTail = p;
  134. ++hc;
  135. }
  136. }
  137. //这里判断是否进行树转换
  138. ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
  139. (hc != 0) ? new TreeBin<K,V>(lo) : t;
  140. hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
  141. (lc != 0) ? new TreeBin<K,V>(hi) : t;
  142. //这里把新处理的链表赋值到新数组中
  143. setTabAt(nextTab, i, ln);
  144. setTabAt(nextTab, i + n, hn);
  145. setTabAt(tab, i, fwd);
  146. advance = true;
  147. }
  148. }
  149. }
  150. }
  151. }
  152. }

ConcurrentHashMap的扩容还是比较复杂,复杂主要表现在,控制多线程扩容层面上,扩容的源码我没有解析的很细,一方面是确实比较复杂,本人有某些地方也不是太明白,另一方面是我觉得我们研究主要是弄懂其思想,能搞明白关键代码和关键思路即可,只要不是重新实现一套类似的功能,我想就不用纠结其全部细节了。总结下ConcurrentHashMap的扩容步骤如下:

1.获取线程扩容处理步长,最少是16,也就是单个线程处理扩容的节点个数。

2.新建一个原来容量2倍的数组,构造过渡节点,用于扩容期间的查询操作。

3.进行死循环进行转移节点,主要根据finishing变量判断是否扩容结束,在扩容期间通过给不同的线程设置不同的下表索引进行扩容操作,就是不同的线程,操作的数组分段不一样,同时利用synchronized同步锁锁住操作的节点,保证了线程安全。

4.真正进行节点在新数组的位置是和HashMap扩容逻辑一样的,通过位运算计算出新链表是否位于原位置或者位于原位置+扩容的长度位置,具体分析可以查看我的这篇文章

三、总结

1.ConcurrentHashMap大部分的逻辑代码和HashMap是一样的,主要通过synchronized和来保证节点插入扩容的线程安全,这里肯定有同学会问,为啥使用synchronized呢?而不用采取乐观锁,或者lock呢?我个人觉得可能原因有2点:

  • a.乐观锁比较适用于竞争冲突比较少的场景,如果冲突比较多,那么就会导致不停的重试,这样反而性能更低。
  • b.synchronized在经历了优化之后,其实性能已经和lock没啥差异了,某些场景可能还比lock快。所以,我觉得这是采用synchronized来同步的原因。

2.ConcurrentHashMap的扩容核心逻辑主要是给不同的线程分配不同的数组下标,然后每个线程处理各自下表区间的节点。同时处理节点复用了hashMap的逻辑,通过位运行,可以知道节点扩容后的位置,要么在原位置,要么在原位置+oldlength位置,最后直接赋值即可。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值