一、ConcurrentHashMap常用方法
1、computeIfAbsent(args1, args2):如果缺少一个key,则计算生成一个value,然后将 key,value放入map,如果存在,则会将上一次的值返回。
二、jdk8中ConcurrentHashMap
重要属性和方法
/**
* 默认为 0
* 当初始化时,为-1
* 当扩容时,为-(1 + 扩容线程数)
* 当初始化或扩容完成后,为下一次扩容的阈值大小
*/
private transient volatile int sizeCtl;
// 整个 ConcurrentHashMap 就是一个Node[]
static class Node<K,V> implements Map.Entry<K,V> {}
// hash表
transient volatile Node<K,V>[] table;
// 扩容时的 新 hash 表
private transient volatile Node<K,V>[] nextTable;
// 扩容时如果某个 bin 迁移完毕,用ForwardingNode 作为旧 tab0le bin 的头节点
static final class ForwardingNode<K,V> extends Node<K,V> {}
// 用在 compute 以及 computeIfAbsent 时,用来占位,计算完成后替换成普通 Node
static final class ReservationNode<K,V> extends Node<K,V> {}
// 作为treebin 的头节点,存储 root 和 first
static final class TreeBin<K,V> extends Node<K,V> {}
// 作为 treebin 的节点,存储 parent,left,right
static final class TreeNode<K,V> extends Node<K,V> {}
---------------------------------重要方法--------------------------------
// 获取 Node[] 中第 i 个 Node
static final <K,V> Node<K,V> tabAt(Node<K,V>[] tab, int i) {}
// cas修改 Node[] 中第i个Node的值,c为旧值,v为新值
static final <K,V> boolean casTabAt(Node<K,V>[] tab, int i,
Node<K,V> c, Node<K,V> v) {}
// 直接修改 Node[] 中第i个Node的值,v为新值
static final <K,V> void setTabAt(Node<K,V>[] tab, int i, Node<K,V> v) {}
构造器分析
// 可以看到实现了懒惰初始化,在构造方法中仅仅计算了table的大小,以后第一次使用时才
// 真正创建
public ConcurrentHashMap(int initialCapacity,
float loadFactor, int concurrencyLevel) {
if (!(loadFactor > 0.0f) || initialCapacity < 0 || concurrencyLevel <= 0)
throw new IllegalArgumentException();
if (initialCapacity < concurrencyLevel) // Use at least as many bins
initialCapacity = concurrencyLevel; // as estimated threads
// 这里与hashMap不同,需要将初始容量/负载因子 + 1
long size = (long)(1.0 + (long)initialCapacity / loadFactor);
// tableSizeFor 仍然是保证计算的大小是 2^n, 即 16,32,64
int cap = (size >= (long)MAXIMUM_CAPACITY) ?
MAXIMUM_CAPACITY : tableSizeFor((int)size);
this.sizeCtl = cap;
}
get流程
public V get(Object key) {
Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek;
// spread 方法能确保返回结果是正数
int h = spread(key.hashCode());
if ((tab = table) != null && (n = tab.length) > 0 &&
(e = tabAt(tab, (n - 1) & h)) != null) {
// 如果头节点已经是要查找的key
if ((eh = e.hash) == h) {
if ((ek = e.key) == key || (ek != null && key.equals(ek)))
return e.val;
}
// hash 为负数表示该 bin 在扩容或是treebin,这时调用 find 方法来查找
else if (eh < 0)
return (p = e.find(h, key)) != null ? p.val : null;
// 正常遍历链表,用equals比较
while ((e = e.next) != null) {
if (e.hash == h &&
((ek = e.key) == key || (ek != null && key.equals(ek))))
return e.val;
}
}
return null;
}
put流程
以下数组简称(table),链表简称(bin)
public V put(K key, V value) {
// 第三个参数表示如果存在相同的key,是否会用新值覆盖掉旧值
// true:不会覆盖,false:会覆盖,默认false
return putVal(key, value, false);
}
final V putVal(K key, V value, boolean onlyIfAbsent) {
// 此处与hashMap不同,hashMap允许有空的键和值,此处不允许
if (key == null || value == null) throw new NullPointerException();
// 其中 spread 方法会综合高位低位,具有更好的 hash 性
int hash = spread(key.hashCode());
// 代表链表长度
int binCount = 0;
for (Node<K,V>[] tab = table;;) {
// f 是链表头头节点
// fh 是链表头节点的 hash
// i 是链表在 table 中的下标
Node<K,V> f; int n, i, fh;
// 要创建 table
if (tab == null || (n = tab.length) == 0)
// 初始化 table 使用了 cas, 无需 synchronized 创建成功,进入下一步循环
tab = initTable();
// 要创建链表头节点
// tabAt(tab, i = (n - 1) & hash):找到桶下标
else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
// 添加链表头使用了cas,无需synchronized
if (casTabAt(tab, i, null,
new Node<K,V>(hash, key, value, null)))
break; // no lock when adding to empty bin
}
// 帮忙扩容(如果扩容时,每扩容完成一个链表,都会将链表头部改为ForwardingNode,ForwardingNode的hash码为负数)
else if ((fh = f.hash) == MOVED)
tab = helpTransfer(tab, f);
// 进入下面表示已经出现桶下标冲突
else {
V oldVal = null;
// 锁住链表头节点
synchronized (f) {
// 再次确认链表头节点没有被移动
if (tabAt(tab, i) == f) {
// 节点为链表
if (fh >= 0) {
binCount = 1;
// 遍历链表
for (Node<K,V> e = f;; ++binCount) {
K ek;
// 找到相同的 key
if (e.hash == hash &&
((ek = e.key) == key ||
(ek != null && key.equals(ek)))) {
oldVal = e.val;
// 更新(根据设置的参数,决定是否要覆盖掉旧值,默认覆盖)
if (!onlyIfAbsent)
e.val = value;
break;
}
Node<K,V> pred = e;
// 已经是最后的节点了,新增Node,追加至链表尾
if ((e = e.next) == null) {
pred.next = new Node<K,V>(hash, key,
value, null);
break;
}
}
}
// 节点为红黑树
else if (f instanceof TreeBin) {
Node<K,V> p;
binCount = 2;
// putTreeVal 会看 key 是否已经在树中,是则返回对应的 TreeNode
// 不在则添加后不返回
if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
value)) != null) {
oldVal = p.val;
// 这里决定是否需要覆盖旧值
if (!onlyIfAbsent)
p.val = value;
}
}
}
// 释放链表头节点的锁
}
// binCount :红黑树设为2,链表则累加得出节点个数
if (binCount != 0) {
// 如果链表长度 >= 树化阈值(8)且链表节点>64,进行链表转为红黑树
if (binCount >= TREEIFY_THRESHOLD)
treeifyBin(tab, i);
if (oldVal != null)
return oldVal;
break;
}
}
}
// 增加 size 计数(其中还包含扩容逻辑)
addCount(1L, binCount);
return null;
}
initTable()
private final Node<K,V>[] initTable() {
Node<K,V>[] tab; int sc;
// 没有创建则不断尝试
while ((tab = table) == null || tab.length == 0) {
// 一旦有其它线程在创建hash表,则sczeCtl被改为-1,则在此yield
if ((sc = sizeCtl) < 0)
Thread.yield(); // lost initialization race; just spin
// 尝试将 sizeCtl 设置为 -1 (表示初始化 table)
else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
// 获得锁,创建table, 这时其它线程会在while()循环中 yield 直至 table创建
try {
if ((tab = table) == null || tab.length == 0) {
// sc为初始容量,DEFAULT_CAPACITY(默认值)为16
int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
@SuppressWarnings("unchecked")
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
table = tab = nt;
// 新的sc为下次扩容的阈值
sc = n - (n >>> 2);
}
} finally {
sizeCtl = sc;
}
break;
}
}
return tab;
}
addCount():作用,维护计数+扩容
// check 是之前 binCount 的个数
private final void addCount(long x, int check) {
CounterCell[] as; long b, s;
if (
// 已经有了 counterCells, 向 cell 累加
(as = counterCells) != null ||
// 还没有, 向 baseCount 累加
!U.compareAndSwapLong(this, BASECOUNT, b = baseCount, s = b + x)) {
CounterCell a; long v; int m;
boolean uncontended = true;
if (
// 还没有 counterCells(累加单元数组)
as == null || (m = as.length - 1) < 0 ||
// 还没有 cell(累加单元)
(a = as[ThreadLocalRandom.getProbe() & m]) == null ||
// cell cas 增加计数失败
!(uncontended =
U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) {
// 增加累加单元数组和cell,累加重试
fullAddCount(x, uncontended);
return;
}
// 再次检查链表长度,链表长度 <= 1 直接返回,> 1则可能需要进行扩容,执行下面逻辑
if (check <= 1)
return;
// 获取元素个数
s = sumCount();
}
if (check >= 0) {
Node<K,V>[] tab, nt; int n, sc;
// 当前元素个数 > 扩容阈值,走扩容流程
while (s >= (long)(sc = sizeCtl) && (tab = table) != null &&
(n = tab.length) < MAXIMUM_CAPACITY) {
int rs = resizeStamp(n);
if (sc < 0) {
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
transferIndex <= 0)
break;
// newtable 已经创建了,帮忙扩容
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
transfer(tab, nt);
}
// 需要扩容,这时 newtable 未创建
else if (U.compareAndSwapInt(this, SIZECTL, sc,
(rs << RESIZE_STAMP_SHIFT) + 2))
transfer(tab, null);
s = sumCount();
}
}
}
size 计算流程
size计算实际发生在put,remove 改变集合元素的操作之中
- 没有竞争发生,向baseCount 增加计数
- 有竞争发生,新建 counterCells,向其中一个 cell 累加计数,counterCells 初始有两个 cell,如果竞争比较激烈,会创建新的 cell 来累加计数
// 计数有一定误差,得到的是一个大概值
public int size() {
long n = sumCount();
return ((n < 0L) ? 0 :
(n > (long)Integer.MAX_VALUE) ? Integer.MAX_VALUE :
(int)n);
}
final long sumCount() {
CounterCell[] as = counterCells; CounterCell a;
// 将baseCount 计数和所有 cell 计数累加
long sum = baseCount;
if (as != null) {
for (int i = 0; i < as.length; ++i) {
if ((a = as[i]) != null)
sum += a.value;
}
}
return sum;
}
transfer
// 第一个参数:原始table,第二个参数:新的table
private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
int n = tab.length, stride;
if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
stride = MIN_TRANSFER_STRIDE; // subdivide range
// nextTab 为null,需将table创建出来
if (nextTab == null) { // initiating
try {
@SuppressWarnings("unchecked")
// n << 1:将原有容量直接左移一位,作为新table的长度
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1];
nextTab = nt;
} catch (Throwable ex) { // try to cope with OOME
sizeCtl = Integer.MAX_VALUE;
return;
}
nextTable = nextTab;
transferIndex = n;
}
int nextn = nextTab.length;
ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
boolean advance = true;
boolean finishing = false; // to ensure sweep before committing nextTab
// 进行节点的搬迁工作
for (int i = 0, bound = 0;;) {
Node<K,V> f; int fh;
while (advance) {
int nextIndex, nextBound;
if (--i >= bound || finishing)
advance = false;
else if ((nextIndex = transferIndex) <= 0) {
i = -1;
advance = false;
}
else if (U.compareAndSwapInt
(this, TRANSFERINDEX, nextIndex,
nextBound = (nextIndex > stride ?
nextIndex - stride : 0))) {
bound = nextBound;
i = nextIndex - 1;
advance = false;
}
}
if (i < 0 || i >= n || i + n >= nextn) {
int sc;
if (finishing) {
nextTable = null;
table = nextTab;
sizeCtl = (n << 1) - (n >>> 1);
return;
}
if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
return;
finishing = advance = true;
i = n; // recheck before commit
}
}
// 链表头已经为null,说明链表已经被处理完了,将链表头改为fwd(ForwardingNode)
else if ((f = tabAt(tab, i)) == null)
advance = casTabAt(tab, i, null, fwd);
// 已经是ForwardingNode则处理下一个链表
else if ((fh = f.hash) == MOVED)
advance = true; // already processed
else {
// 链表头有元素,则锁住链表,进行处理
synchronized (f) {
if (tabAt(tab, i) == f) {
Node<K,V> ln, hn;
// 普通节点
if (fh >= 0) {
int runBit = fh & n;
Node<K,V> lastRun = f;
for (Node<K,V> p = f.next; p != null; p = p.next) {
int b = p.hash & n;
if (b != runBit) {
runBit = b;
lastRun = p;
}
}
if (runBit == 0) {
ln = lastRun;
hn = null;
}
else {
hn = lastRun;
ln = null;
}
for (Node<K,V> p = f; p != lastRun; p = p.next) {
int ph = p.hash; K pk = p.key; V pv = p.val;
if ((ph & n) == 0)
ln = new Node<K,V>(ph, pk, pv, ln);
else
hn = new Node<K,V>(ph, pk, pv, hn);
}
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
setTabAt(tab, i, fwd);
advance = true;
}
// 节点为红黑树,走树节点搬迁逻辑
else if (f instanceof TreeBin) {
TreeBin<K,V> t = (TreeBin<K,V>)f;
TreeNode<K,V> lo = null, loTail = null;
TreeNode<K,V> hi = null, hiTail = null;
int lc = 0, hc = 0;
for (Node<K,V> e = t.first; e != null; e = e.next) {
int h = e.hash;
TreeNode<K,V> p = new TreeNode<K,V>
(h, e.key, e.val, null, null);
if ((h & n) == 0) {
if ((p.prev = loTail) == null)
lo = p;
else
loTail.next = p;
loTail = p;
++lc;
}
else {
if ((p.prev = hiTail) == null)
hi = p;
else
hiTail.next = p;
hiTail = p;
++hc;
}
}
ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
(hc != 0) ? new TreeBin<K,V>(lo) : t;
hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
(lc != 0) ? new TreeBin<K,V>(hi) : t;
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
setTabAt(tab, i, fwd);
advance = true;
}
}
}
}
}
}
三、jdk 7 ConcurrentHashMap
它维护了一个segment数组,每个segment对应了一把锁(segment继承了可重入锁ReentrantLock)
- 优点:如果多个线程访问不同的segment,实际上是没有冲突的,这与jdk8中是类似的
- 缺点:segments数组默认大小为16,这个容量初始化指定后就不能改变了,并且不是懒惰初始化
构造完成后:
ConcurrentHashMap 没有实现懒惰初始化,空间占用不友好,其中this.segmentShift 和 this.segmentMask 的作用是决定将key的hash结果匹配到哪个segment。
例如,根据某一hash值求segment位置,先将高位向低位移动this.segmentShift位(当容量为默认值16时,segmentShift 为28,segmentMask 为15)
结果再与this.segmentMask 做位与运算,最终得到10,即下标为10的segment
put流程:先计算出桶下标,进而调用每个segment的put方法,segment中会首先尝试加锁(如果需要扩容,则实际的节点添加是在rehash中)。
rehash流程:rehash发生在put中,此时已经获得了锁,因此rehash不用考虑线程安全。首先遍历一遍链表,尽可能把rehash后idx不变的节点重用(搬迁时不采用头插,而是一次性把连续idx不变的节点搬过去),剩余节点需要重建,扩容完成后,加入新节点。
get流程:get时并未加锁,用了UNSAFE方法保证了可见性,扩容过程中,get先发生就从旧表取内容,get后发生就从新表取内容。
size计算流程:
- 计算元素个数前,先不加锁计算两次,如果前后两次结果一样,认为个数正确返回。
- 如果不一样,进行重试,重试次数超过3,将所有segment锁住,重新计算个数返回。