ConcurrentHashMap 浅析

一、ConcurrentHashMap 1.7

ConcurrentHashMap作为线程安全的HashMap不管是面试率还是使用率都是很高的，那么ConcurrentHashMap是怎样的结构以及源代码如何实现的呢？

我们先从ConcurrentHashMap1.7开始分析

1.存储结构

 Java 7 中 ConcurrentHashMap 的存储结构如上图，ConcurrnetHashMap 由很多个 Segment 组合，如果你了解 HashMap 的源码结构会发现每一个 Segment 是一个类似于 HashMap 的结构，相当于一个ConcurrentHashMap维护了好多个HashMap，所以每一个 HashMap 的内部可以进行扩容。但是 Segment 的个数一旦初始化就不能改变，默认 Segment 的个数是 16 个，你也可以认为 ConcurrentHashMap 默认支持最多 16 个线程并发。

2.初始化

初始化是通过ConcurrentHashMap 的无参构造器来进行初始化

    /**
     * Creates a new, empty map with a default initial capacity (16),
     * load factor (0.75) and concurrencyLevel (16).
     *创建具有默认初始容量（16）的新空映射，负载系数（0.75）和并发级别（16）。
     */
    public ConcurrentHashMap() {
        this(DEFAULT_INITIAL_CAPACITY, DEFAULT_LOAD_FACTOR, DEFAULT_CONCURRENCY_LEVEL);
    }

可以看到这个无参构造器中调用了三个参数的有参构造，它们的值源码中给出

    /**
     * The default initial capacity for this table,
     * used when not otherwise specified in a constructor.
     *此表的默认初始容量，在构造函数中未另行指定时使用。
     */
    static final int DEFAULT_INITIAL_CAPACITY = 16;

    /**
     * The default load factor for this table, used when not
     * otherwise specified in a constructor.此表的默认负载系数，不使用时使用否则在构造函数中指定。
     */
    static final float DEFAULT_LOAD_FACTOR = 0.75f;

    /**
     * The default concurrency level for this table, used when not
     * otherwise specified in a constructor.
     *此表的默认并发级别，不使用时使用否则在构造函数中指定。
     */
    static final int DEFAULT_CONCURRENCY_LEVEL = 16;

然后看这个有参构造器的函数内部逻辑

@SuppressWarnings("unchecked")
public ConcurrentHashMap(int initialCapacity,float loadFactor, int concurrencyLevel) {
    // 参数校验
    if (!(loadFactor > 0) || initialCapacity < 0 || concurrencyLevel <= 0)
        throw new IllegalArgumentException();
    // 校验并发级别大小，大于MAX_SEGMENTS (1<<16)，重置为 65536
    if (concurrencyLevel > MAX_SEGMENTS)
        concurrencyLevel = MAX_SEGMENTS;
    // Find power-of-two sizes best matching arguments
    // 2的多少次方
    int sshift = 0;
    int ssize = 1;
    // 这个循环可以找到 concurrencyLevel 之上最近的 2的次方值
    while (ssize < concurrencyLevel) {
        ++sshift;
        ssize <<= 1;
    }
    // 记录段偏移量
    this.segmentShift = 32 - sshift;
    // 记录段掩码
    this.segmentMask = ssize - 1;
    // 设置容量
    if (initialCapacity > MAXIMUM_CAPACITY)
        initialCapacity = MAXIMUM_CAPACITY;
    // c = 容量 / ssize ，默认 16 / 16 = 1，这里是计算每个 Segment 中的类似于 HashMap 的容量
    int c = initialCapacity / ssize;
    if (c * ssize < initialCapacity)
        ++c;
    int cap = MIN_SEGMENT_TABLE_CAPACITY;
    //Segment 中的类似于 HashMap 的容量至少是2或者2的倍数
    while (cap < c)
        cap <<= 1;
    // create segments and segments[0]
    // 创建 Segment 数组，设置 segments[0]
    Segment<K,V> s0 = new Segment<K,V>(loadFactor, (int)(cap * loadFactor),
                         (HashEntry<K,V>[])new HashEntry[cap]);
    Segment<K,V>[] ss = (Segment<K,V>[])new Segment[ssize];
    UNSAFE.putOrderedObject(ss, SBASE, s0); // ordered write of segments[0]
    this.segments = ss;
}

从上至下的初始化逻辑：

1.必要的参数校验

2.验验并发级别 concurrencyLevel 大小，如果大于最大值，重置为最大值。无惨构造默认值是 16

3.寻找并发级别 concurrencyLevel 之上最近的 2 的幂次方值，作为初始化容量大小，默认是 16

4.记录 segmentShift 偏移量，这个值为【容量 = 2 的N次方】中的 N，在后面 Put 时计算位置时会用到。默认是 32 - sshift = 28

5.记录 segmentMask，默认是 ssize - 1 = 16 -1 = 15

6.初始化 segments[0]，默认大小为 2，负载因子 0.75，扩容阀值是 2*0.75=1.5，插入第二个值时才会进行扩容

3.put 

     /**
     * Maps the specified key to the specified value in this table.
     * Neither the key nor the value can be null.
     *
     * <p> The value can be retrieved by calling the <tt>get</tt> method
     * with a key that is equal to the original key.
     *
     * @param key key with which the specified value is to be associated
     * @param value value to be associated with the specified key
     * @return the previous value associated with <tt>key</tt>, or
     *         <tt>null</tt> if there was no mapping for <tt>key</tt>
     * @throws NullPointerException if the specified key or value is null
     */
    @SuppressWarnings("unchecked")
    public V put(K key, V value) {
        Segment<K,V> s;
        if (value == null)
            throw new NullPointerException();//value不可以为空
        int hash = hash(key);
        // hash 值无符号右移 28位（初始化时获得），然后与 segmentMask=15 做与运算
        // 其实也就是把高4位与segmentMask（1111）做与运算
        int j = (hash >>> segmentShift) & segmentMask;
        if ((s = (Segment<K,V>)UNSAFE.getObject          // nonvolatile; recheck
             (segments, (j << SSHIFT) + SBASE)) == null) //  in ensureSegment
            // 如果查找到的 Segment 为空，初始化
            s = ensureSegment(j);
        return s.put(key, hash, value, false);
    }
    /**
     * Returns the segment for the given index, creating it and
     * recording in segment table (via CAS) if not already present.
     *
     * @param k the index
     * @return the segment
     */
    @SuppressWarnings("unchecked")
    private Segment<K,V> ensureSegment(int k) {
        final Segment<K,V>[] ss = this.segments;
        long u = (k << SSHIFT) + SBASE; // raw offset
        Segment<K,V> seg;
        // 判断 u 位置的 Segment 是否为null
        if ((seg = (Segment<K,V>)UNSAFE.getObjectVolatile(ss, u)) == null) {
            Segment<K,V> proto = ss[0]; // use segment 0 as prototype
            // 获取0号 segment 里的 HashEntry<K,V> 初始化长度
            int cap = proto.table.length;
            // 获取0号 segment 里的 hash 表里的扩容负载因子，所有的 segment 的 loadFactor 是相同的
            float lf = proto.loadFactor;
            // 计算扩容阀值
            int threshold = (int)(cap * lf);
            // 创建一个 cap 容量的 HashEntry 数组
            HashEntry<K,V>[] tab = (HashEntry<K,V>[])new HashEntry[cap];
            if ((seg = (Segment<K,V>)UNSAFE.getObjectVolatile(ss, u)) == null) { // recheck
                // 再次检查 u 位置的 Segment 是否为null，因为这时可能有其他线程进行了操作
                Segment<K,V> s = new Segment<K,V>(lf, threshold, tab);
                // 自旋检查 u 位置的 Segment 是否为null
                while ((seg = (Segment<K,V>)UNSAFE.getObjectVolatile(ss, u))
                   == null) {
                    // 使用CAS 赋值，只会成功一次
                    if (UNSAFE.compareAndSwapObject(ss, u, null, seg = s))
                        break;
                }
            }
        }
        return seg;
    }

1.根据key计算存放位置，获取指定位置的Segment 

2.判断这个位置的Segment是否是null，是null的话初始化

        初始化  Segment 流程：

        1.判断计算得到的位置的 Segment 是否为null

        2.是null就继续初始化，使用 Segment[0] 的容量和负载因子创建一个 HashEntry 数组

        3.再次判断计算得到的指定位置的 Segment 是否为null

        4.使用创建的 HashEntry 数组初始化这个 Segment

        5.自旋判断计算得到的指定位置的 Segment 是否为null，使用 CAS 在这个位置赋值为 Segment

3.调用put函数插入key和value键值对

我们看一下这里的put函数

final V put(K key, int hash, V value, boolean onlyIfAbsent) {
    // 获取 ReentrantLock 独占锁，获取不到，scanAndLockForPut 获取。
    HashEntry<K,V> node = tryLock() ? null : scanAndLockForPut(key, hash, value);
    V oldValue;
    try {
        HashEntry<K,V>[] tab = table;
        // 计算要put的数据位置
        int index = (tab.length - 1) & hash;
        // CAS 获取 index 坐标的值
        HashEntry<K,V> first = entryAt(tab, index);
        for (HashEntry<K,V> e = first;;) {
            if (e != null) {//当前节点元素存在
                K k;
                if ((k = e.key) == key ||
                    (e.hash == hash && key.equals(k))) {判断当前元素的key，hash与新的key和hash是否冲突，冲突直接覆盖替换
                    oldValue = e.value;
                    if (!onlyIfAbsent) {
                        e.value = value;
                        ++modCount;
                    }
                    break;
                }
                e = e.next;
            }
            else { // 当前节点元素为null创建新节点并头插进链表
                if (node != null)
                    node.setNext(first);
                else
                    node = new HashEntry<K,V>(hash, key, value, first);
                int c = count + 1;
                // 容量大于扩容阀值，小于最大容量，进行扩容
                if (c > threshold && tab.length < MAXIMUM_CAPACITY)
                    rehash(node);
                else
                    // index 位置赋值 node，node 可能是一个元素，也可能是一个链表的表头
                    setEntryAt(tab, index, node);
                ++modCount;
                count = c;
                oldValue = null;//返回null
                break;
            }
        }
    } finally {
        unlock();
    }
    return oldValue;
}

我们看到Segment继承了ReentrantLock所以它内部可以很方便的获取锁，put 流程就用到了这个功能

1.tryLock() 获取锁，获取不到使用 scanAndLockForPut()方法继续获取

2.计算出应该存放的下标位置index，然后获取这个位置上的 HashEntry键值对

3.遍历进行存放新元素(因为这里获取的HashEntry可能为null也可能是一个链表)

        3.1如果这个位置上的HashEntry存在

                3.1.1判断当前元素的key，hash是否和要存放的key，hash冲突，冲突了直接覆盖替换

                3.1.2不冲突，接着获取链表下一个节点进行再次判断，冲突就覆盖，以知道遍历完

        3.2如果这个位置上的HashEntry存在

                3.2.1如果当前容量大于扩容阈值，小于最大容量，进行扩容

                3.2.2头插将新的键值对插入链表

4.return

        4.1如果要插入的位置之前已经存在了，则覆盖替换，返回旧的value

        4.2如果要插入的位置之前没有相同元素，将新元素添加上后返回null

我们可以看到上面代码第一行要尝试获取锁，获取不到就用 scanAndLockForPut()方法继续，这个方法是不断的自旋tryLock()获取锁。当自旋次数大于指定的次数时使用lock()阻塞获取锁，但是我们看到方法返回值是HashEntry类型的，是因为这个方法在自旋的同时顺便获取了hash 位置的 HashEntry，然后返回了这个HashEntry。

private HashEntry<K,V> scanAndLockForPut(K key, int hash, V value) {
    HashEntry<K,V> first = entryForHash(this, hash);
    HashEntry<K,V> e = first;
    HashEntry<K,V> node = null;
    int retries = -1; // negative while locating node
    // 自旋获取锁
    while (!tryLock()) {
        HashEntry<K,V> f; // to recheck first below
        if (retries < 0) {
            if (e == null) {
                if (node == null) // speculatively create node
                    node = new HashEntry<K,V>(hash, key, value, null);
                retries = 0;
            }
            else if (key.equals(e.key))
                retries = 0;
            else
                e = e.next;
        }
        else if (++retries > MAX_SCAN_RETRIES) {
            // 自旋达到指定次数后，阻塞等到只到获取到锁
            lock();
            break;
        }
        else if ((retries & 1) == 0 &&
                 (f = entryForHash(this, hash)) != first) {
            e = first = f; // re-traverse if entry changed
            retries = -1;
        }
    }
    return node;
}

4.get

     /**
     * Returns the value to which the specified key is mapped,
     * or {@code null} if this map contains no mapping for the key.
     *
     * <p>More formally, if this map contains a mapping from a key
     * {@code k} to a value {@code v} such that {@code key.equals(k)},
     * then this method returns {@code v}; otherwise it returns
     * {@code null}.  (There can be at most one such mapping.)
     *
     * @throws NullPointerException if the specified key is null
     */
    public V get(Object key) {
        Segment<K,V> s; // manually integrate access methods to reduce overhead
        HashEntry<K,V>[] tab;
        int h = hash(key);
        long u = (((h >>> segmentShift) & segmentMask) << SSHIFT) + SBASE;
        // 计算得到 key 的存放位置
        if ((s = (Segment<K,V>)UNSAFE.getObjectVolatile(segments, u)) != null &&
            (tab = s.table) != null) {
            for (HashEntry<K,V> e = (HashEntry<K,V>) UNSAFE.getObjectVolatile
                     (tab, ((long)(((tab.length - 1) & h)) << TSHIFT) + TBASE);
                 e != null; e = e.next) {
                // 如果是链表，遍历查找到相同 key 的 value。
                K k;
                if ((k = e.key) == key || (e.hash == h && key.equals(k)))
                    return e.value;
            }
        }
        return null;
    }

如果上面操作都理解了那么这个get方法就太容易了

然后我们看一下JDK1.8的 ConcurrentHashMap

二、ConcurrentHashMap 1.8

1.存储结构

 从图可以看出java8的ConcurrentHashMap和java7的ConcurrentHashMap还是有很大不同的，不再采用segment，链表长度达到一定长度之后转换为红黑树，单从结构上看与普通的java8的HashMap结构相同的，只是多了线程安全的操作

2.初始化

/**
 * Initializes table, using the size recorded in sizeCtl.
 *使用sizeCtl中记录的大小初始化表
 */
private final Node<K,V>[] initTable() {
    Node<K,V>[] tab; int sc;
    while ((tab = table) == null || tab.length == 0) {
        ／／　如果 sizeCtl < 0 ,说明另外的线程执行CAS 成功，正在进行初始化。
        if ((sc = sizeCtl) < 0)
            // 让出 CPU 使用权
            Thread.yield(); // lost initialization race; just spin
        else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
            try {
                if ((tab = table) == null || tab.length == 0) {
                    int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
                    @SuppressWarnings("unchecked")
                    Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
                    table = tab = nt;
                    sc = n - (n >>> 2);
                }
            } finally {
                sizeCtl = sc;
            }
            break;
        }
    }
    return tab;
}

ConcurrentHashMap 的初始化是通过自旋和 CAS 操作完成的。里面需要注意的是变量 sizeCtl ，它的值决定着当前的初始化状态。

1. -1表示正在初始化

2. -N表示有N-1个线程正在进行扩容

3. 如果table未初始化，表示table需要初始化的大小。

4.如果table初始化完成，表示table的容量，默认是table大小的0.75倍

3.put

public V put(K key, V value) {
    return putVal(key, value, false);
}

/** Implementation for put and putIfAbsent */
final V putVal(K key, V value, boolean onlyIfAbsent) {
    // key 和 value 不能为空
    if (key == null || value == null) throw new NullPointerException();
    int hash = spread(key.hashCode());
    int binCount = 0;
    for (Node<K,V>[] tab = table;;) {
        // f = 目标位置元素
        Node<K,V> f; int n, i, fh;// fh 后面存放目标位置的元素 hash 值
        if (tab == null || (n = tab.length) == 0)
            // 数组桶为空，初始化数组桶（自旋+CAS)
            tab = initTable();
        else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
            // 桶内为空，CAS 放入，不加锁，成功了就直接 break 跳出
            if (casTabAt(tab, i, null,new Node<K,V>(hash, key, value, null)))
                break;  // no lock when adding to empty bin
        }
        else if ((fh = f.hash) == MOVED)
            tab = helpTransfer(tab, f);
        else {
            V oldVal = null;
            // 使用 synchronized 加锁加入节点
            synchronized (f) {
                if (tabAt(tab, i) == f) {
                    // 说明是链表
                    if (fh >= 0) {
                        binCount = 1;
                        // 循环加入新的或者覆盖节点
                        for (Node<K,V> e = f;; ++binCount) {
                            K ek;
                            if (e.hash == hash &&
                                ((ek = e.key) == key ||
                                 (ek != null && key.equals(ek)))) {
                                oldVal = e.val;
                                if (!onlyIfAbsent)
                                    e.val = value;
                                break;
                            }
                            Node<K,V> pred = e;
                            if ((e = e.next) == null) {
                                pred.next = new Node<K,V>(hash, key,
                                                          value, null);
                                break;
                            }
                        }
                    }
                    else if (f instanceof TreeBin) {
                        // 红黑树
                        Node<K,V> p;
                        binCount = 2;
                        if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
                                                       value)) != null) {
                            oldVal = p.val;
                            if (!onlyIfAbsent)
                                p.val = value;
                        }
                    }
                }
            }
            if (binCount != 0) {
                if (binCount >= TREEIFY_THRESHOLD)
                    treeifyBin(tab, i);
                if (oldVal != null)
                    return oldVal;
                break;
            }
        }
    }
    addCount(1L, binCount);
    return null;
}

1.根据key计算出hashcode

2.判断是否需要进行初始化

3. 根据但钱key定位处的Node判断，如果为null表示当前位置可以写入数据，利用CAS尝试写入，失败则自旋保证成功

4.如果当前位置的hashcode == MOVED ==-1，表示需要扩容

5.如果都不满足，则利用synchronized 锁写入数据

6.如果数量大于 TREEIFY_THRESHOLD 则要转换为红黑树

4.get

public V get(Object key) {
    Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek;
    // key 所在的 hash 位置
    int h = spread(key.hashCode());
    if ((tab = table) != null && (n = tab.length) > 0 &&
        (e = tabAt(tab, (n - 1) & h)) != null) {
        // 如果指定位置元素存在，头结点hash值相同
        if ((eh = e.hash) == h) {
            if ((ek = e.key) == key || (ek != null && key.equals(ek)))
                // key hash 值相等，key值相同，直接返回元素 value
                return e.val;
        }
        else if (eh < 0)
            // 头结点hash值小于0，说明正在扩容或者是红黑树，find查找
            return (p = e.find(h, key)) != null ? p.val : null;
        while ((e = e.next) != null) {
            // 是链表，遍历查找
            if (e.hash == h &&
                ((ek = e.key) == key || (ek != null && key.equals(ek))))
                return e.val;
        }
    }
    return null;
}

 1.根据key的计算出位置

2.找到计算出的位置，如果头节点就是就返回它的value

3.如果头节点hash值小于0，说明正在扩容或者是红黑是，进行查找

4.如果是链表，遍历查找就好

我们可以看到 ConcruuentHashMap1.8相对于1.7变化很大，单单从存储结构就可以看出变化之大，个人认为变化程度要大于HashMap在java7和8之间的变化，HashMap存储结构变化不过是链表与红黑树的变化，而ConcruuentHashMap直接取消了Segment，简直是大刀阔斧。

三、总结

Java7 中 ConcruuentHashMap 使用的分段锁，也就是每一个 Segment 上同时只有一个线程可以操作，每一个 Segment 都是一个类似 HashMap 数组的结构，它可以扩容，它的冲突会转化为链表。但是 Segment 的个数一但初始化就不能改变。

Java8 中的 ConcruuentHashMap 使用的 Synchronized 锁加 CAS 的机制。存储结构也由 Java7 中的 Segment 数组 + HashEntry 数组 + 链表 进化成了 Node 数组 + 链表 / 红黑树，直接取消了Segment数组，Node 是类似于一个 HashEntry 的结构。它的冲突再达到一定大小时会转化成红黑树，在冲突小于一定数量时又退回链表。