Java并发容器 ConcurrentHashMap的应用及实现

ConcurrentHashMap的优势

首先常用三种HashMap包括HashMap,HashTable和ConcurrentHashMap：

• HashMap在并发编程过程中使用可能导致死循环，因为插入过程不是原子操作，每个HashEntry是一个链表节点，很可能在插入的过程中，已经设置了后节点，实际还未插入，最终反而插入在后节点之后，造成链中出现环，破坏了链表的性质，失去了尾节点，出现死循环。
• HashTable因为内部是采用synchronized来保证线程安全的，但在线程竞争激烈的情况下HashTable的效率下降得很快因为synchronized关键字会造成代码块或方法成为为临界区(对同一个对象加互斥锁)，当一个线程访问临界区的代码时，其他线程也访问同一临界区时，会进入阻塞或轮询状态。究其原因，实际上是有获取锁意向的线程的数目增加，但是锁还是只有单个，导致大量的线程处于轮询或阻塞，导致同一时间段有效执行的线程的增量远不及线程总体增量。 
  
  • 在查询时，尤其能够体现出ConcurrentHashMap在效率上的优势，HashTable使用Sychronized关键字，会导致同时只能有一个查询在执行，而Concurrent则不采取加锁的方法，而是采用volatile关键字，虽然也会牺牲效率，但是由于Sychronized，于该文末尾继续讨论。
• ConcurrentHashMap利用锁分段技术增加了锁的数目，从而使争夺同一把锁的线程的数目得到控制。 
  
  • 锁分段技术就是对数据集进行分段，每段竞争一把锁，不同数据段的数据不存在锁竞争，从而有效提高 高并发访问效率。
  • ConcurrentHashMap在get方法是无需加锁的，因为用到的共享变量都采用volatile关键字修饰，巴证共享变量在线程之间的可见性(每次读取都先同步缓存和内存，直接从内存中获取值，虽然不是原子操作，但根据JAVA内存模型的happen before原则，对volatile字段的写入操作先于读操作，能够保证不会脏读),volatile为了让变量提供线程之间的内存可见性，会禁止程序执行结果的重排序（导致缓存优化的效果降低）

ConcurrentHashMap的结构

• ConcurrentHashMap是由Segment数组和HashEntry数组组成。
• Segment是重入锁(ReentrantLock),作为一个数据段竞争锁，每个HashEntry一个链表结构的元素，利用Hash算法得到索引确定归属的数据段，也就是对应到在修改时需要竞争获取的锁。

segments数组的初始化

• 首先简单描述一下源代码中变量的含义:

变量名称	描述
concurrencyLevel	能够满足的并发访问数量，即最多同时可以有多少线程同时访问一个ConcurrencyHashMap对象（个人的理解）
ssize	segments数组的长度(因为要利用位运算和hash算法获取索引，故必须是2n2n)，而且在确定长度时能够保证复杂度在O(logn2)O(log2n)
segmentShift	散列后的32中的高位表示segments的索引，代表作无符号右移的偏移量
segmentMask	对应与segment的ssize-1,有效的二进制位都为1，可以通过与散列后的数值与运算得到segment的索引
threshold	一个segment的容量
initialCapacity	ConcurrentHashMap的初始化容量
cap	一个segment中HashEntry数组的长度
loadFactor	负载因子，我理解的是负载因子越大会导致出现冲突的概率增大，设置的过小又会浪费空间，所以应该根据实际情况考虑空间和时间上的平衡

• 首先计算出segment数组的长度ssize，并且计算出与ssize关联的segmentShift和segmentMask

if ( cocurrencyLevel > MAX_SEGMENTS )
    cocurrencyLevel = MAX_SEGMENTS;
//如果cocurrencyLevel大于上限，那么取值为上限，
//上限定义为65535，决定了重入锁的segments的数目
int sshift = 0;
int ssize = 1;
//找到大于等于concurrencyLevel的最小的2^n作为segments的大小
while ( ssize < concurrencyLevel ){
    ++sshift;//记录偏移量，为了以后通过与运算获取segment的索引
    ssize <<=1;
}
segmentShift = 32 - sshift;//说明只有高sshift位作为segment的索引
segmentMask = ssize - 1;//能直接通过与运算获取segment的索引
this.segments = Segment.newArray(ssize);
//静态工厂方法构造ssize大小的segment数组

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15

• 初始化每个segment,因为已经知道segment数组的规模，将ConcurrentHashMap的逻辑上持有的HashEntry均分到每个Segment上，因为是散列，所以要loadFactor来定义负载率，来保证segment适时的拓充，来避免散列表和数据规模相近时，冲突加重的风险。

if ( initialCapacity > MAXIMUM_CAPACITY )
    initialCapacity = MAXIMUM_CAPACITY;
int c = initCapacity / ssize;
//整个cocurrentHashMap的容量由所有的segment均摊
if ( c * ssize < initCapacity )
    ++c;
int cap = 1;//segment中的hashEntry数组的长度
while ( cap < c )
    cap <<= 1;
//设置loadFactor,保证散列的高效性的同时也保证空间浪费相对有限
for ( int i = 0 ; i < this.segments.length ; i++ )
    this.segments[i] =  new Segments<K,V>(cap , loadFactor);
//最终计算出segment的容量threshold=(int)cap*loadFactor;

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13

• 定位segment，定位segment尤其重要，如果太多元素集中在少数几个segment中会导致ConcurrentHashMap的效率得不到优化，因为同一个segment中的修改还是要竞争锁，所以选择合适的hash算法尽可能地将元素分到不同的segment中是目标。 
  
  • ConcurrentHashMap采用的是对元素的HashCode进行再Hash来减少冲突
  • ConcurrentHashMap采用的是根据Wang/JenkinsHash改进的hash算法，该算法具有雪崩性(参数一位数字变化，结果都有半数左右(二进制位)发生变化)

final Segment<K,V> segmentFor ( int hash ){
    //首先根据segmentShift无符号右移，得到表示segment所以的高位，
    //然后与掩码逻辑与得到segment的索引，定位到segment
    return segments[(hash>>>segmentShift)&segmentMask];
}

• 1
• 2
• 3
• 4
• 5

CocurrentHashMap的操作

• Segment的get操作是不需要加锁的。因为volatile修饰的变量保证了线程之间的可见性
• Segment的put操作是需要加锁的，在插入时会先判断Segment里的HashEntry数组是否会超过容量(threshold),如果超过需要对数组扩容，翻一倍。然后在新的数组中重新hash，为了高效，ConcurrentHashMap只会对需要扩容的单个Segment进行扩容
• ConcurrentHashMap获取size的时候要统计Segments中的HashEntry的和，如果不对他们都加锁的话，无法避免数据的修改造成的错误，但是如果都加锁的话，效率又很低。所以ConcurentHashMap在实现的时候，巧妙地利用了在累加过程中发生变化的几率很小的客观条件，在获取count时，不加锁的计算两次，如果两次不相同，在采用加锁的计算方法。采用了一个高效率的剪枝防止很大概率地减少了不必要额加锁。

一点理解

synchronized(其实感觉是可以被重入锁和Condition完全取代的)和volatile的取舍：

• 首先的区别就在于是否是原子操作，也就是单一的不可分割的操作，在多线程中，原子操作能够保证不受到其他线程的影响
• synchonized就实现了原子性操作，不同的线程互斥地进入临界代码区，而且是内存可见的，也就是每个线程进入临界区时，都是从内存中获取的值，不会因为缓存而出现脏读。
• volatile实现了内存可见性，会将修改的值直接写入内容，并且注销掉之前对于该变量的缓存，而且禁止了指令的排序。但是它不是原子操作！！

参考书目

• Java多线程编程实战指南
• Java并发编程的艺术
• Java多线程编程核心技术