深入浅出的了解我们的ConcurrentHashMap

ConcurrentHashMap是Java中非常重要的线程安全容器，它在Java 7和Java 8中的实现有很大的不同。Java 7使用了分段锁机制，而Java 8则使用了Synchronized锁加CAS操作，并引入了红黑树来优化长链表的性能问题。

ConcurrentHashMap1.7

存储结构

Java 7 中 ConcurrentHashMap 的存储结构如上图，ConcurrnetHashMap 由很多个 Segment 组合，而每一个 Segment 是一个类似于 HashMap 的结构，所以每一个 HashMap 的内部可以进行扩容。但是 Segment 的个数一旦初始化就不能改变，默认 Segment 的个数是 16 个，你也可以认为 ConcurrentHashMap 默认支持最多 16 个线程并发。

初始化

@SuppressWarnings("unchecked")
public ConcurrentHashMap(int initialCapacity,float loadFactor, int concurrencyLevel) {
    // 参数校验
    if (!(loadFactor > 0) || initialCapacity < 0 || concurrencyLevel <= 0)
        throw new IllegalArgumentException();
    // 校验并发级别大小，大于 1<<16，重置为 65536
    if (concurrencyLevel > MAX_SEGMENTS)
        concurrencyLevel = MAX_SEGMENTS;
    // Find power-of-two sizes best matching arguments
    // 2的多少次方
    int sshift = 0;
    int ssize = 1;
    // 这个循环可以找到 concurrencyLevel 之上最近的 2的次方值
    while (ssize < concurrencyLevel) {
        ++sshift;
        ssize <<= 1;
    }
    // 记录段偏移量
    this.segmentShift = 32 - sshift;
    // 记录段掩码
    this.segmentMask = ssize - 1;
    // 设置容量
    if (initialCapacity > MAXIMUM_CAPACITY)
        initialCapacity = MAXIMUM_CAPACITY;
    // c = 容量 / ssize ，默认 16 / 16 = 1，这里是计算每个 Segment 中的类似于 HashMap 的容量
    int c = initialCapacity / ssize;
    if (c * ssize < initialCapacity)
        ++c;
    int cap = MIN_SEGMENT_TABLE_CAPACITY;
    //Segment 中的类似于 HashMap 的容量至少是2或者2的倍数
    while (cap < c)
        cap <<= 1;
    // create segments and segments[0]
    // 创建 Segment 数组，设置 segments[0]
    Segment<K,V> s0 = new Segment<K,V>(loadFactor, (int)(cap * loadFactor),
                         (HashEntry<K,V>[])new HashEntry[cap]);
    Segment<K,V>[] ss = (Segment<K,V>[])new Segment[ssize];
    UNSAFE.putOrderedObject(ss, SBASE, s0); // ordered write of segments[0]
    this.segments = ss;
}

1. 构造函数调用：

• • 无参构造函数ConcurrentHashMap()最终调用了有参构造函数ConcurrentHashMap(int initialCapacity, float loadFactor, int concurrencyLevel)，并传入了三个默认值：DEFAULT_INITIAL_CAPACITY（16），DEFAULT_LOAD_FACTOR（0.75），和DEFAULT_CONCURRENCY_LEVEL（16）。

1. 参数校验：

• • 构造函数内部首先进行参数校验，确保传入的初始容量（initialCapacity）、负载因子（loadFactor）和并发级别（concurrencyLevel）都在合理的范围内。如果负载因子不大于0、初始容量不小于0或并发级别不大于0，会抛出IllegalArgumentException。

1. 计算并发级别：

• • 程序会校验并发级别concurrencyLevel，如果它大于MAX_SEGMENTS（默认为65536），则将其重置为MAX_SEGMENTS。
  • 接着，程序会寻找最接近concurrencyLevel的2的幂次方值，这个值将用于确定Segment的数量。这个值是通过不断地将ssize（初始为1）左移一位来寻找的，直到ssize大于concurrencyLevel。

1. 计算段偏移量和段掩码：

• • 计算segmentShift，这是用于计算段索引的偏移量，其值为32减去sshift（即2的幂次方的幂值），默认为28。
  • 计算segmentMask，这是一个用于计算段索引的掩码，其值为ssize - 1，默认为15。

1. 初始化segments[0]：

• • 根据传入的负载因子和初始容量计算每个Segment中的HashMap的容量c。如果c小于初始容量除以ssize，则c会递增。
  • 确保c是2的倍数或者至少为2，这是Segment中HashMap的最小容量。
  • 创建第一个Segment对象segments[0]，并初始化其table数组，这个数组用于存储HashEntry对象。

1. 创建Segment数组：

• • 创建一个Segment数组ss，其长度为ssize，即并发级别的值。
  • 使用UNSAFE.putOrderedObject方法将segments[0]设置到ss数组的第一个位置。这个方法是原子性的，确保Segment数组的初始化在多线程环境中的安全性。

1. 设置segments字段：

• • 最后，将ss数组赋值给ConcurrentHashMap实例的segments字段。

段索引的计算:

1.首先计算出偏移量和段掩码

2.调用键的hash方法,计算出哈希码

3.将哈希码右移 右移位数为偏移量的大小

4.得到后的值在与段掩码做&运算得到段索引

桶索引的计算:

将哈希值与该段的桶数组长度进行按位与操作来获取

put

/**
 * Maps the specified key to the specified value in this table.
 * Neither the key nor the value can be null.
 *
 * <p> The value can be retrieved by calling the <tt>get</tt> method
 * with a key that is equal to the original key.
 *
 * @param key key with which the specified value is to be associated
 * @param value value to be associated with the specified key
 * @return the previous value associated with <tt>key</tt>, or
 *         <tt>null</tt> if there was no mapping for <tt>key</tt>
 * @throws NullPointerException if the specified key or value is null
 */
public V put(K key, V value) {
    Segment<K,V> s;
    if (value == null)
        throw new NullPointerException();
    int hash = hash(key);
    // hash 值无符号右移 28位（初始化时获得），然后与 segmentMask=15 做与运算
    // 其实也就是把高4位与segmentMask（1111）做与运算
    int j = (hash >>> segmentShift) & segmentMask;
    if ((s = (Segment<K,V>)UNSAFE.getObject          // nonvolatile; recheck
         (segments, (j << SSHIFT) + SBASE)) == null) //  in ensureSegment
        // 如果查找到的 Segment 为空，初始化
        s = ensureSegment(j);
    return s.put(key, hash, value, false);
}

/**
 * Returns the segment for the given index, creating it and
 * recording in segment table (via CAS) if not already present.
 *
 * @param k the index
 * @return the segment
 */
@SuppressWarnings("unchecked")
private Segment<K,V> ensureSegment(int k) {
    final Segment<K,V>[] ss = this.segments;
    long u = (k << SSHIFT) + SBASE; // raw offset
    Segment<K,V> seg;
    // 判断 u 位置的 Segment 是否为null
    if ((seg = (Segment<K,V>)UNSAFE.getObjectVolatile(ss, u)) == null) {
        Segment<K,V> proto = ss[0]; // use segment 0 as prototype
        // 获取0号 segment 里的 HashEntry<K,V> 初始化长度
        int cap = proto.table.length;
        // 获取0号 segment 里的 hash 表里的扩容负载因子，所有的 segment 的 loadFactor 是相同的
        float lf = proto.loadFactor;
        // 计算扩容阀值
        int threshold = (int)(cap * lf);
        // 创建一个 cap 容量的 HashEntry 数组
        HashEntry<K,V>[] tab = (HashEntry<K,V>[])new HashEntry[cap];
        if ((seg = (Segment<K,V>)UNSAFE.getObjectVolatile(ss, u)) == null) { // recheck
            // 再次检查 u 位置的 Segment 是否为null，因为这时可能有其他线程进行了操作
            Segment<K,V> s = new Segment<K,V>(lf, threshold, tab);
            // 自旋检查 u 位置的 Segment 是否为null
            while ((seg = (Segment<K,V>)UNSAFE.getObjectVolatile(ss, u))
                   == null) {
                // 使用CAS 赋值，只会成功一次
                if (UNSAFE.compareAndSwapObject(ss, u, null, seg = s))
                    break;
            }
        }
    }
    return seg;
}

1. 计算哈希值：

• • 首先，调用hash方法来计算给定键的哈希值。

1. 确定Segment：

• • 使用计算出的哈希值和segmentShift以及segmentMask来确定应该将键值对存储在哪个Segment中。

1. 获取Segment：

• • 使用Unsafe类提供的getObject方法来安全地获取对应的Segment对象。如果Segment尚未初始化，将调用ensureSegment方法来创建它。

1. 调用Segment的put方法：

• • 将key、hash值和value传递给Segment的put方法。这个方法将负责将键值对存储在内部的HashMap中。

1. 处理冲突：

• • 如果Segment中的某个桶（bucket）已经有了一个或多个元素，put方法将检查是否存在具有相同键的条目。如果存在，它将替换旧值。如果不存在，它将根据冲突链表或树结构来添加新条目。

1. 扩容：

• • 如果在添加新条目后，Segment的内部HashMap的容量需要扩容（例如，当元素数量超过负载因子和当前容量的乘积时），Segment将执行扩容操作。

get

public V get(Object key) {
    Segment<K,V> s; // manually integrate access methods to reduce overhead
    HashEntry<K,V>[] tab;
    int h = hash(key);
    long u = (((h >>> segmentShift) & segmentMask) << SSHIFT) + SBASE;
    // 计算得到 key 的存放位置
    if ((s = (Segment<K,V>)UNSAFE.getObjectVolatile(segments, u)) != null &&
        (tab = s.table) != null) {
        for (HashEntry<K,V> e = (HashEntry<K,V>) UNSAFE.getObjectVolatile
                 (tab, ((long)(((tab.length - 1) & h)) << TSHIFT) + TBASE);
             e != null; e = e.next) {
            // 如果是链表，遍历查找到相同 key 的 value。
            K k;
            if ((k = e.key) == key || (e.hash == h && key.equals(k)))
                return e.value;
        }
    }
    return null;
}

1. 计算哈希值：

• • 与put操作一样，首先计算给定键的哈希值。

1. 确定Segment：

• • 使用哈希值、segmentShift和segmentMask来确定包含所需键的Segment。

1. 获取Segment：

• • 安全地获取对应的Segment对象。

1. 在Segment中查找键：

• • 在Segment的内部HashMap中查找具有相同键的条目。这涉及到遍历桶中的链表或树结构。

1. 返回值：

• • 如果找到了匹配的键，get方法将返回关联的值。如果没有找到匹配的键，则返回null。

ConcurrentHashMap1.8

存储结构

可以发现 Java8 的 ConcurrentHashMap 相对于 Java7 来说变化比较大，不再是之前的 Segment 数组 + HashEntry 数组 + 链表，而是 Node 数组 + 链表 / 红黑树。当冲突链表达到一定长度时，链表会转换成红黑树。

初始化

/**
 * Initializes table, using the size recorded in sizeCtl.
 */
private final Node<K,V>[] initTable() {
    Node<K,V>[] tab; int sc;
    while ((tab = table) == null || tab.length == 0) {
        //　如果 sizeCtl < 0 ,说明另外的线程执行CAS 成功，正在进行初始化。
        if ((sc = sizeCtl) < 0)
            // 让出 CPU 使用权
            Thread.yield(); // lost initialization race; just spin
        else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
            try {
                if ((tab = table) == null || tab.length == 0) {
                    int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
                    @SuppressWarnings("unchecked")
                    Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
                    table = tab = nt;
                    sc = n - (n >>> 2);
                }
            } finally {
                sizeCtl = sc;
            }
            break;
        }
    }
    return tab;
}

在Java 1.8版本的ConcurrentHashMap中，初始化过程是延迟执行的，这意味着Node数组（桶）本身在首次使用之前不会被初始化。

以下是Java 1.8中ConcurrentHashMap初始化的关键特点：

1. 延迟初始化： ConcurrentHashMap的Node数组（桶）在实例创建时不会被立即初始化。只有当第一个put操作发生时，Node数组才会被初始化。
2. 首次使用时初始化： 当执行第一个put操作时，如果Node数组尚未初始化，ConcurrentHashMap会首先初始化它。这个过程涉及到计算初始容量、设置扩容阈值（threshold）以及创建Node数组。
3. 初始化第一个Node： 在Node数组初始化后，第一个put操作会涉及到计算键的哈希值，确定它在数组中的位置，并创建一个新的Node实例来存储键值对。这个新的Node实例会成为数组中第一个桶的内容。
4. CAS操作： 为了在初始化Node数组时保持线程安全，ConcurrentHashMap可能会使用CAS（Compare-And-Swap）操作来确保只有一个线程能够成功初始化数组，防止多个线程同时初始化导致的问题。
5. 自旋等待： 如果一个线程发现Node数组正在被初始化，它可能会进入自旋等待状态，不断检查数组是否已经初始化完成，而不是立即阻塞或进入等待状态。

put

public V put(K key, V value) {
    return putVal(key, value, false);
}

/** Implementation for put and putIfAbsent */
final V putVal(K key, V value, boolean onlyIfAbsent) {
    // key 和 value 不能为空
    if (key == null || value == null) throw new NullPointerException();
    int hash = spread(key.hashCode());
    int binCount = 0;
    for (Node<K,V>[] tab = table;;) {
        // f = 目标位置元素
        Node<K,V> f; int n, i, fh;// fh 后面存放目标位置的元素 hash 值
        if (tab == null || (n = tab.length) == 0)
            // 数组桶为空，初始化数组桶（自旋+CAS)
            tab = initTable();
        else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
            // 桶内为空，CAS 放入，不加锁，成功了就直接 break 跳出
            if (casTabAt(tab, i, null,new Node<K,V>(hash, key, value, null)))
                break;  // no lock when adding to empty bin
        }
        else if ((fh = f.hash) == MOVED)
            tab = helpTransfer(tab, f);
        else {
            V oldVal = null;
            // 使用 synchronized 加锁加入节点
            synchronized (f) {
                if (tabAt(tab, i) == f) {
                    // 说明是链表
                    if (fh >= 0) {
                        binCount = 1;
                        // 循环加入新的或者覆盖节点
                        for (Node<K,V> e = f;; ++binCount) {
                            K ek;
                            if (e.hash == hash &&
                                ((ek = e.key) == key ||
                                 (ek != null && key.equals(ek)))) {
                                oldVal = e.val;
                                if (!onlyIfAbsent)
                                    e.val = value;
                                break;
                            }
                            Node<K,V> pred = e;
                            if ((e = e.next) == null) {
                                pred.next = new Node<K,V>(hash, key,
                                                          value, null);
                                break;
                            }
                        }
                    }
                    else if (f instanceof TreeBin) {
                        // 红黑树
                        Node<K,V> p;
                        binCount = 2;
                        if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
                                                       value)) != null) {
                            oldVal = p.val;
                            if (!onlyIfAbsent)
                                p.val = value;
                        }
                    }
                }
            }
            if (binCount != 0) {
                if (binCount >= TREEIFY_THRESHOLD)
                    treeifyBin(tab, i);
                if (oldVal != null)
                    return oldVal;
                break;
            }
        }
    }
    addCount(1L, binCount);
    return null;
}

流程:

1.根据 key 计算出 hashcode 。

2.通过spread()散列哈希,然后将散列后的哈希和(length - 1)进行与运算定位桶位置

3.如果当前位置为空,表示可以写入数据，利用 CAS 尝试写入，失败则自旋保证成功。

4.如果计算出的桶索引位置已经有其他键值对存在,利用 synchronized块写入数据,通过链表或红黑树来处理单个桶内的冲突(链表过长转化为红黑树)。

5.如果当前位置的 hashcode == MOVED == -1,则将当前线程加入扩容过程。

需要注意的是，扩容过程在ConcurrentHashMap中是并发的，多个线程可以同时参与扩容。MOVED是一个特殊的哈希码值，用于标识正在扩容的桶。当一个线程尝试向一个桶插入元素时，如果发现桶的哈希码是MOVED，它会知道需要参与扩容过程，而不是简单地插入元素。

get

public V get(Object key) {
    Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek;
    // key 所在的 hash 位置
    int h = spread(key.hashCode());
    if ((tab = table) != null && (n = tab.length) > 0 &&
        (e = tabAt(tab, (n - 1) & h)) != null) {
        // 如果指定位置元素存在，头结点hash值相同
        if ((eh = e.hash) == h) {
            if ((ek = e.key) == key || (ek != null && key.equals(ek)))
                // key hash 值相等，key值相同，直接返回元素 value
                return e.val;
        }
        else if (eh < 0)
            // 头结点hash值小于0，说明正在扩容或者是红黑树，find查找
            return (p = e.find(h, key)) != null ? p.val : null;
        while ((e = e.next) != null) {
            // 是链表，遍历查找
            if (e.hash == h &&
                ((ek = e.key) == key || (ek != null && key.equals(ek))))
                return e.val;
        }
    }
    return null;
}

get的流程:

1.定位桶位置

2.接下来定位元素,可能会出现以下几个现象:

• 如果桶是空的，即没有元素，那么get操作将返回null，表示键不存在于映射中。
• 如果桶中只有一个Node实例，直接比较键是否匹配，如果匹配则返回对应的值。
• 如果桶中有多个Node实例，通过链表或红黑树来查找匹配的键。遍历链表或红黑树，直到找到具有相同键的Node实例。

总之,如果找到了匹配的键，get操作将返回与之关联的值。如果没有找到匹配的键，get操作将返回null。

总结

Java7 中 ConcurrentHashMap 使用的分段锁，也就是每一个 Segment 上同时只有一个线程可以操作，每一个 Segment 都是一个类似 HashMap 数组的结构，它可以扩容，它的冲突会转化为链表。但是 Segment 的个数一但初始化就不能改变。

Java8 中的 ConcurrentHashMap 使用的 Synchronized 锁加 CAS 的机制。结构也由 Java7 中的 Segment 数组 + HashEntry 数组 + 链表 进化成了 Node 数组 + 链表 / 红黑树，Node 是类似于一个 HashEntry 的结构。它的冲突再达到一定大小时会转化成红黑树，在冲突小于一定数量时又退回链表。