HBase 0.1.0 Put流程源码分析

put的过程相对比较简单，因为根据LSM-Tree的理论，写入操作会写入到内存中，然后再batch的写入磁盘。

HBase的实现也是如此。

首先，从客户端的batch操作中提取出所有的put操作并放在一个sortedmap中（localput）：

Text row = b.getRow();
    long lockid = obtainRowLock(row);

    long commitTime =
      (timestamp == LATEST_TIMESTAMP) ? System.currentTimeMillis() : timestamp;
      
    try {
      List<Text> deletes = null;
      for (BatchOperation op: b) {
        HStoreKey key = new HStoreKey(row, op.getColumn(), commitTime);
        byte[] val = null;
        if (op.isPut()) {
          val = op.getValue();
          if (HLogEdit.isDeleted(val)) {
            throw new IOException("Cannot insert value: " + val);
          }
        } else {
          if (timestamp == LATEST_TIMESTAMP) {
            // Save off these deletes
            if (deletes == null) {
              deletes = new ArrayList<Text>();
            }
            deletes.add(op.getColumn());
          } else {
            val = HLogEdit.deleteBytes.get();
          }
        }
        if (val != null) {
          localput(lockid, key, val);
        }
      }

localput将batch中的put操作的数据存放在targetColumns中，再用update方法update到每个HStore的memcache中：

TreeMap<HStoreKey, byte[]> edits = this.targetColumns.remove(Long.valueOf(lockid));
      if (edits != null && edits.size() > 0) {
        update(edits);
      }

update的过程分为以下几个步骤：

1.hlog增加此次操作的信息
2.遍历每个edit信息。取出key和value，增加memcache的size
3.添加key和value到memcache里
4.如果size大于memcacheflushsize则强制flush

this.log.append(regionInfo.getRegionName(),
          regionInfo.getTableDesc().getName(), updatesByColumn);

long size = 0;
for (Map.Entry<HStoreKey, byte[]> e: updatesByColumn.entrySet()) {
HStoreKey key = e.getKey();
byte[] val = e.getValue();
size = this.memcacheSize.addAndGet(key.getSize() +
    (val == null ? 0 : val.length));
stores.get(HStoreKey.extractFamily(key.getColumn())).add(key, val);
}
if (this.flushListener != null && size > this.memcacheFlushSize) {
// Request a cache flush
this.flushListener.flushRequested(this);
}

总结：

1.put操作因为只put到内存的sortedmap中就返回，因此速度非常快，这也是HBase的LSM-Tree引以为豪的地方之一

2.写入memcache时会先加读锁，但好像没加写锁，这是为啥。。。是因为memcache里的sortedmap是Collections.synchronizedSortedMap的吗？

3.可以看出是put的过程是先写hlog再写内存的，因此只要写到内存的数据就可以认为是安全的了

4.每次写入memcache都会check是否到了flush的size，如果到了就会触发flush。

5.flush会将内存中的数据写入hdfs文件系统。这种定期batch的写文件效率是非常高的，而且在没有flush时不占读的io，无形中留了很多io给读操作，增加了读的性能