ConcurrentHashMap1.8源码和同步机制

1. ConcurrentHashMap几个重要概念
2. ConcurrentHashMap的get操作详解
3. ConcurrentHashMap的插入操作详解
4. ConcurrentHashMap的链表转红黑树
5. ConcurrentHashMap的扩容操作详解
6. ConcurrentHashMap的同步机制详解

首先谈默认参数:

MAXIMUM_CAPACITY = 1 << 30   最大元素容量
DEFAULT_CAPACITY = 16            默认初始容量
MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8  最大数组容量
DEFAULT_CONCURRENCY_LEVEL = 16        默认并发线程数
LOAD_FACTOR = 0.75f                              默认负载因子
TREEIFY_THRESHOLD = 8                          hash 冲突链表转红黑树临界值
UNTREEIFY_THRESHOLD = 6;                     红黑树转链表的临界值
MIN_TREEIFY_CAPACITY = 64;                    红黑树最小容量
MIN_TRANSFER_STRIDE = 16;                    
RESIZE_STAMP_BITS = 16;
MAX_RESIZERS = (1 << (32 - RESIZE_STAMP_BITS)) - 1;
RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS;
static final int MOVED     = -1; // hash for forwarding nodes
static final int TREEBIN   = -2; // hash for roots of trees
static final int RESERVED  = -3; // hash for transient reservations
static final int HASH_BITS = 0x7fffffff; // usable bits of normal node hash

get方法

读操作是一个无锁操作的过程,默认执行hashcode方法和equals方法。所以注意的是,采用可变对象做key的时候需要重写这两个不可变方法


public V get(Object key) {
 Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek;
int h = spread(key.hashCode()); 计算key的hash值
//寻找hash表key的位置
if ((tab = table) != null && (n = tab.length) > 0 &&
(e = tabAt(tab, (n - 1) & h)) != null) {
if ((eh = e.hash) == h) {
if ((ek = e.key) == key || (ek != null && key.equals(ek)))
return e.val;
}
else if (eh < 0)
return (p = e.find(h, key)) != null ? p.val : null;
//遍历hash桶下hash冲突元素,存在key就返回
while ((e = e.next) != null) {
if (e.hash == h &&
((ek = e.key) == key || (ek != null && key.equals(ek))))
return e.val;
}
}
return null;
}
put方法

插入的过程可能会遇到扩容的时候,当前线程去帮助扩容。没有扩容,且对应的table位置是无锁状态,在写入的时候,会对改table位置进行加锁写的操作。遇到是否需要结构转换的时候,是在链表结构后面插入之后,在统计是否达到阈值。

  final V putVal(K key, V value, boolean onlyIfAbsent) {
        if (key == null || value == null) throw new NullPointerException();
        int hash = spread(key.hashCode());//计算hashcode
        int binCount = 0;
        for (Node<K,V>[] tab = table;;) { //自旋获取锁
            Node<K,V> f; int n, i, fh;
            if (tab == null || (n = tab.length) == 0)
                tab = initTable(); //table为空,初始化table
            else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
               //通过哈希计算出一个表中的位置因为n是数组的长度,所以(n-1)&hash肯定不会出现数组越界
               
               //如果这个key位置是没有元素的,那么就cas尝试创建节点,创建此节点是无锁的
                if (casTabAt(tab, i, null,
                             new Node<K,V>(hash, key, value, null)))
                    break;                   // no lock when adding to empty bin
            }
            
            //如果要插入的key的hash表位置状态是MOVED状态,即扩容数据复制阶段
            else if ((fh = f.hash) == MOVED)
            //是扩容阶段,该线程也去帮助扩容
                tab = helpTransfer(tab, f);
            else {
                V oldVal = null;
                
                //如果这个位置有元素,那么就使用synchronized进行加锁
                //如果是链表hash>0
                synchronized (f) {
                    //找到hash表的位置
                    if (tabAt(tab, i) == f) {
                    //如果是链表
                        if (fh >= 0) {
                            //记录元素hash冲突元素个数
                            binCount = 1;
                            //遍历链表
                            for (Node<K,V> e = f;; ++binCount) {
                                K ek;
                                
                                //hashcode相等,equals为true就代表是同一个key了
                                //所以使用对象为key的时候,要重写hashcode和equals方法
                                //存在就覆盖
                                if (e.hash == hash &&
                                    ((ek = e.key) == key ||
                                     (ek != null && key.equals(ek)))) {
                                    oldVal = e.val;
                                    if (!onlyIfAbsent)
                                        e.val = value;
                                    break;
                                }
                                Node<K,V> pred = e;
                                //链表尾部添加节点
                                if ((e = e.next) == null) {
                                    pred.next = new Node<K,V>(hash, key,
                                                              value, null);
                                    break;
                                }
                            }
                        }
                        //如果是红黑树
                        else if (f instanceof TreeBin) {
                            Node<K,V> p;
                            binCount = 2;
                            //调用putTreeVal进行插入操作
                            if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
                                                           value)) != null) {
                                oldVal = p.val;
                                if (!onlyIfAbsent)
                                    p.val = value;
                            }
                        }
                    }
                }
                //最后在判断是否要进行结构变换
                if (binCount != 0) {
                    //是否要转为红黑树
                    if (binCount >= TREEIFY_THRESHOLD)
                        treeifyBin(tab, i);
                    if (oldVal != null)
                        return oldVal;
                    break;
                }
            }
        }
        //cas修改总的容量
        addCount(1L, binCount);
        return null;
    }
    
treeifyBin 链表转红黑树

treeifyBin方法是链表hash冲突到8的时候,判断是否要链表转换红黑树还是直接扩容。

    private final void treeifyBin(Node<K,V>[] tab, int index) {
        Node<K,V> b; int n, sc;
        if (tab != null) {
            //如果此时table的容量小于64
            if ((n = tab.length) < MIN_TREEIFY_CAPACITY)
                //直接扩容
                tryPresize(n << 1);
             
             //验证hash节点位置存在,且还是链表
            else if ((b = tabAt(tab, index)) != null && b.hash >= 0) {
            //将此结构转化的hash冲突节点进行synchronized加锁
                synchronized (b) {
                     
                    if (tabAt(tab, index) == b) {
                        TreeNode<K,V> hd = null, tl = null;
                        //链表转红黑树
                        for (Node<K,V> e = b; e != null; e = e.next) {
                            TreeNode<K,V> p =
                                new TreeNode<K,V>(e.hash, e.key, e.val,
                                                  null, null);
                            if ((p.prev = tl) == null)
                                hd = p; //设置红黑树的根节点
                            else
                                tl.next = p;
                            tl = p;
                        }
                        //将结构转化后的树,放入table表中
                        setTabAt(tab, index, new TreeBin<K,V>(hd));
                    }
                }
            }
        }
    }

在插入的时候,发现在扩容,当前线程就帮忙扩容

    final Node<K,V>[] helpTransfer(Node<K,V>[] tab, Node<K,V> f) {
        Node<K,V>[] nextTab; int sc;
        //帮助扩容节点的hash桶下不为空,并且要插入元素的hash位置不是表尾
        if (tab != null && (f instanceof ForwardingNode) &&
            (nextTab = ((ForwardingNode<K,V>)f).nextTable) != null) {
            int rs = resizeStamp(tab.length);
            //确认当前table位置和下一个table位置没有其它线程改动
            //且table是resize的状态
            //sizeCtl 为-1是初始化状态,或者resize状态
            //否则就是 -(1+nThread)
            //线程数表示实际在参与的线程数
            while (nextTab == nextTable && table == tab &&
                   (sc = sizeCtl) < 0) {
                if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
                    sc == rs + MAX_RESIZERS || transferIndex <= 0)
                    break;
                    
                //cas尝试修改此线程帮助扩容的情况    
                if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) {
                    transfer(tab, nextTab);
                    break;
                }
            }
            return nextTab;
        }
        return table;
    }
扩容

transfer为扩容方法,对目标nextTable,扩为原来的两倍(在初始化的时候),可以多个线程进行扩容,但是每个线程通过锁来进行隔离。每个线程操作table是对其它线程不可见的


    private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
        int n = tab.length, stride;
        
        //用来控制扩容时的cpu数
        if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
            stride = MIN_TRANSFER_STRIDE; // subdivide range
       
        /*
         * 如果复制的目标nextTab为null的话,则初始化一个table两倍长的nextTab
         * 此时nextTable被设置值了(在初始情况下是为null的)
         * 因为如果有一个线程开始了表的扩张的时候,其他线程也会进来帮忙扩张,
         * 而只是第一个开始扩张的线程需要初始化下目标数组
         */
        if (nextTab == null) {            // initiating
            try {
                @SuppressWarnings("unchecked")
                Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1];
                nextTab = nt;
            } catch (Throwable ex) {      // try to cope with OOME
                sizeCtl = Integer.MAX_VALUE;
                return;
            }
            nextTable = nextTab;
            transferIndex = n;
        }
        int nextn = nextTab.length;
        /*
         * 创建一个fwd节点,这个是用来控制并发的,当一个节点为空或已经被转移之后,就设置为fwd节点
         * 这是一个空的标志节点
         */
        ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
        //是否还继续扫描
        boolean advance = true;
        //在扩容完成时,看有没有完成的,因为中途可能会有线程加入
        boolean finishing = false; // to ensure sweep before committing nextTab
        for (int i = 0, bound = 0;;) {
            Node<K,V> f; int fh;
            while (advance) {
                int nextIndex, nextBound;
                if (--i >= bound || finishing)
                    advance = false;
                else if ((nextIndex = transferIndex) <= 0) {
                    i = -1;
                    advance = false;
                }
                else if (U.compareAndSwapInt
                         (this, TRANSFERINDEX, nextIndex,
                          nextBound = (nextIndex > stride ?
                                       nextIndex - stride : 0))) {
                    bound = nextBound;
                    i = nextIndex - 1;
                    advance = false;
                }
            }
            if (i < 0 || i >= n || i + n >= nextn) {
                int sc;
                if (finishing) {
                    nextTable = null;
                    table = nextTab;
                    sizeCtl = (n << 1) - (n >>> 1);//将sizeCtl设置为扩容后的0.75
                    return;
                }
                if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
                    if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
                        return;
                    finishing = advance = true;
                    i = n; // recheck before commit
                }
            }
            else if ((f = tabAt(tab, i)) == null)//null节点,设置fwd状态
                advance = casTabAt(tab, i, null, fwd);
            else if ((fh = f.hash) == MOVED)//因为有线程在操作这个table位置
                advance = true; // already processed
            else {
            //没有线程在操作这个table位置,赶快加锁,自己有活干了
                synchronized (f) {
                    if (tabAt(tab, i) == f) {
                        Node<K,V> ln, hn;
                        if (fh >= 0) {//是链表
                         /*
                          * 因为n的值为数组的长度,且是power(2,x)的,所以,在&操作的结果只可能是0或者n
                          * 根据这个规则
                          *         0-->  放在新表的相同位置
                          *         n-->  放在新表的(n+原来位置)
                          */
                            int runBit = fh & n;
                            Node<K,V> lastRun = f;
                            for (Node<K,V> p = f.next; p != null; p = p.next) {
                                int b = p.hash & n;
                                if (b != runBit) {
                                    runBit = b;
                                    lastRun = p;
                                }
                            }
                            if (runBit == 0) {
                                ln = lastRun;
                                hn = null;
                            }
                            else {
                                hn = lastRun;
                                ln = null;
                            }
                            //fh&n的值为0放在原来位置
                            //fh&n的值为n的放在 相隔n的位置
                            //所以不一定是一个完全的倒序链表
                            for (Node<K,V> p = f; p != lastRun; p = p.next) {
                                int ph = p.hash; K pk = p.key; V pv = p.val;
                                if ((ph & n) == 0)
                                    ln = new Node<K,V>(ph, pk, pv, ln);
                                else
                                    hn = new Node<K,V>(ph, pk, pv, hn);
                            }
                            setTabAt(nextTab, i, ln);
                            setTabAt(nextTab, i + n, hn);
                            setTabAt(tab, i, fwd);
                            advance = true;
                        }
                        //如果是红黑树
                        else if (f instanceof TreeBin) {
                            TreeBin<K,V> t = (TreeBin<K,V>)f;
                            TreeNode<K,V> lo = null, loTail = null;
                            TreeNode<K,V> hi = null, hiTail = null;
                            int lc = 0, hc = 0;
                            for (Node<K,V> e = t.first; e != null; e = e.next) {
                                int h = e.hash;
                                TreeNode<K,V> p = new TreeNode<K,V>
                                    (h, e.key, e.val, null, null);
                                if ((h & n) == 0) {
                                    if ((p.prev = loTail) == null)
                                        lo = p;
                                    else
                                        loTail.next = p;
                                    loTail = p;
                                    ++lc;
                                }
                                else {
                                    if ((p.prev = hiTail) == null)
                                        hi = p;
                                    else
                                        hiTail.next = p;
                                    hiTail = p;
                                    ++hc;
                                }
                            }
                            //最后复制到新的table时候,看是否需要从树转链表
                            ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
                                (hc != 0) ? new TreeBin<K,V>(lo) : t;
                            hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
                                (lc != 0) ? new TreeBin<K,V>(hi) : t;
                            setTabAt(nextTab, i, ln);
                            setTabAt(nextTab, i + n, hn);
                            setTabAt(tab, i, fwd);
                            advance = true;
                        }
                    }
                }
            }
        }
    }

tryPresize方法是没有加锁的方法,准许多个线程进行操作,需要扩容的时候,调用tryPresize方法


    private final void tryPresize(int size) {
       /*
        * MAXIMUM_CAPACITY = 1 << 30
        * 如果给定的大小大于等于数组容量的一半,则直接使用最大容量,
        * 否则使用tableSizeFor算出来
        * 后面table一直要扩容到这个值小于等于sizeCtrl(数组长度的3/4)才退出扩容
        */
        int c = (size >= (MAXIMUM_CAPACITY >>> 1)) ? MAXIMUM_CAPACITY :
            tableSizeFor(size + (size >>> 1) + 1);
        int sc;
        while ((sc = sizeCtl) >= 0) {
            Node<K,V>[] tab = table; int n;
            
            /*
             * 如果数组table还没有被初始化,则初始化一个大小为sizeCtrl和刚刚算出来的c中较大的一个大小的数组
             * 初始化的时候,设置sizeCtrl为-1,初始化完成之后把sizeCtrl设置为数组长度的3/4
             * 为什么要在扩张的地方来初始化数组呢?这是因为如果第一次put的时候不是put单个元素,
             * 而是调用putAll方法直接put一个map的话,在putALl方法中没有调用initTable方法去初始化table,
             * 而是直接调用了tryPresize方法,所以这里需要做一个是不是需要初始化table的判断
             */
            if (tab == null || (n = tab.length) == 0) {
                n = (sc > c) ? sc : c;
                //初始化tab的时候,把sizeCtl设为-1
                if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
                    try {
                        if (table == tab) {
                            @SuppressWarnings("unchecked")
                            Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
                            table = nt;
                            sc = n - (n >>> 2);
                        }
                    } finally {
                        sizeCtl = sc;
                    }
                }
            }
             /*
             * 一直扩容到的c小于等于sizeCtl或者数组长度大于最大长度的时候,则退出
             * 所以在一次扩容之后,不是原来长度的两倍,而是2的n次方倍
             */
            else if (c <= sc || n >= MAXIMUM_CAPACITY)
                break;
            else if (tab == table) {
                int rs = resizeStamp(n);
                /*
                 * 如果正在扩容Table的话,则帮助扩容
                 * 否则的话,开始新的扩容
                 * 在transfer操作,将第一个参数的table中的元素,移动到第二个元素的table中去,
                 * 虽然此时第二个参数设置的是null,但是,在transfer方法中,当第二个参数为null的时候,
                 * 会创建一个两倍大小的table
                 */
                if (sc < 0) {
                    Node<K,V>[] nt;
                    if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
                        sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
                        transferIndex <= 0)
                        break;
                        
                    //transfer的线程数加一,该线程将进行transfer的帮忙
                    //在transfer的时候,sc表示在transfer工作的线程数
                    if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
                        transfer(tab, nt);
                }
                // 没有在初始化或扩容,则开始扩容
                else if (U.compareAndSwapInt(this, SIZECTL, sc,
                                             (rs << RESIZE_STAMP_SHIFT) + 2))
                    transfer(tab, null);
            }
        }
    }
   
同步机制

前面分析了下ConcurrentHashMap的源码,那么,对于一个映射集合来说,ConcurrentHashMap是如果来做到并发安全,又是如何做到高效的并发的呢?
  首先是读操作,从源码中可以看出来,在get操作中,根本没有使用同步机制,也没有使用unsafe方法,所以读操作是支持并发操作的。
  那么写操作呢?
  分析这个之前,先看看什么情况下会引起数组的扩容,扩容是通过transfer方法来进行的。而调用transfer方法的只有trePresize、helpTransfer和addCount三个方法。
  这三个方法又是分别在什么情况下进行调用的呢?
  tryPresize:是在treeIfybin和putAll方法中调用,treeIfybin主要是在put添加元素完之后,判断该数组节点相关元素是不是已经超过8个的时候,如果超过则会调用这个方法来扩容数组或者把链表转为树。
helpTransfer:是在当一个线程要对table中元素进行操作的时候,如果检测到节点的HASH值为MOVED的时候,就会调用helpTransfer方法,在helpTransfer中再调用transfer方法来帮助完成数组的扩容
  addCount:是在当对数组进行操作,使得数组中存储的元素个数发生了变化的时候会调用的方法。
  所以引起数组扩容的情况如下:
  1,只有在往map中添加元素的时候,在某一个节点的数目已经超过了8个,同时数组的长度又小于64的时候,才会触发数组的扩容。
  2,当数组中元素达到了sizeCtl的数量的时候,则会调用transfer方法来进行扩容
那么在扩容的时候,可以不可以对数组进行读写操作呢?
  事实上是可以的。当在进行数组扩容的时候,如果当前节点还没有被处理(也就是说还没有设置为fwd节点),那就可以进行设置操作。
  如果该节点已经被处理了,则当前线程也会加入到扩容的操作中去。
  那么,多个线程又是如何同步处理的呢?
  1,在ConcurrentHashMap中,同步处理主要是通过Synchronized和unsafe两种方式来完成的。
  2,在取得sizeCtl、某个位置的Node的时候,使用的都是unsafe的方法,来达到并发安全的目的
  3,当需要在某个位置设置节点的时候,则会通过Synchronized的同步机制来锁定该位置的节点。
  4,在数组扩容的时候,则通过处理的步长和fwd节点来达到并发安全的目的,通过设置hash值为MOVED
  5,当把某个位置的节点复制到扩张后的table的时候,也通过Synchronized的同步机制来保证现程安全

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值