我的博客

Put操作这个rowkey触发了一个CountDownLatch等待超时抛出的异常。  

m.verify(默认false) 是否启用checksumhbase.server.thread.wakefrequency(默认10*1000) 线程检查频率hbase.regionserver.numregionstoreport(默认10) ???hbase.regionserver.handler.count(默认10) handler处理线程个数hbase.regionserver.metahandler.count(默认10) 处理meta和root的线程个数hbase.r

.client.pause1秒重试的休眠时间 hbase.client.retries.number10重试次数 hbase.client.rpc.maxattempts1 hbase.rpc.timeout60秒 hbase.client.prefetch.limit10 hbase.client.write.buffer2097152 hbase.client.scanner.caching1一次从服

L文件，使用SAX解析配置文件my-config.xml格式<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <property&

无需迁移"; } 2.选择需要迁移的节点 if(需要移动的数据 == 0) { return "没有需要移动的块" } 3.开始并行迁移 4.清空列表 5.Thread.sleep(2*conf.getLong("dfs.heartbeat.interval", 3));} 获取所有的data node节点，计算initNodes(client.getDatanodeReport(Datanode

handler线程(IPC Handler和 用于replication的IPC Handler)2.执行服务都是一些线程池，当有任务出现时就就会交给这些类来处理这些线程有MASTER_SERVER_OPERATIONSMASTER_META_SERVER_OPERATIONSMASTER_CLOSE_REGIONMASTER_OPEN_REGIONMASTER_TABLE_OPERATIONS相关的hanlder有：OpenRegionHandlerClosed

mpaction()函数规则来判断是提交到//largeCompactions线程池还是smallCompactions线程池CompactSplitThread#requestCompaction() { for (Store s : r.getStores().values()) { CompactionRequest cr = Store.requestCompaction(priority, request); ThreadPoolExecutor pool = s.thro

lowerLimit   默认为0.35     cacheFlusher线程主要用于定期清理 memstore中的数据，具体逻辑如下://在单独线程中运行，定期检查是否有//超过阈值的region，有则执行flush操作MemStoreFlusher#run() { fqe = flushQueue.poll(threadWakeFrequency, TimeUnit.MILLISECONDS); if (fqe == null || fqe instanc

address; //远端服务器的地址 UserGroupInformation ticket; //用户和用户组的信息 Class<?> protocol; //IPC接口对应的类对象}//ConnectionHeader类是客户端和服务端TCP连接建立之后交换的第一条消息，包括ConnectionId中的//用户信息和IPC接口信息，用于确认用户是否有权利连接Co

tch put, row=0001558252搜索关键字"Failed getting lock in batch put"整个hbase代码中只有一个地方出现了这个关键字 1.HRegionServer#multi()接收到multi操作，找到某个region对其操作这里会创建mutation操作，和对应的锁，锁是用RowLock获得的，默认锁id是-1，如果是-1则返回null，这样构造出的Pair对的first就是mutation，second就是null了，再

_SIZE = 10; public TestWrit() { cfg.setInt("hfile.index.block.max.size", BLOCK_INDEX_SIZE); cfg.setInt("io.storefile.bloom.block.size", BLOOM_BLOCK_INDEX_SIZE); //cfg.setBoolean("hbase.regionserver.checksum.verify",

写入到hadoop的，也就是先写WAL，再做更新(或者删除)这些操作是在handle线程中完成的1.handle先创建一个WAL，放入队列中2.之后检查标志位，是否是同步写WAL3. a)如果是再从队列中获取WAL，写入到haddop中   b)此时，日志同步线程也会定期检查队列，将队列中的WAL获取后写入到hadoop中 所以这里是有两个地方可以写WAL，handle线程中不管有没有配置同步写标志， LogSyncer线程都会写WALLogSyncer默认是1秒同步一次WA

cfg = new HBaseConfiguration(HBASE_CONFIG); cfg.set("hbase.master", "master ip:60000");[/code]创建表[code="java"] public void createTable(String tablename) throws IOException { HBaseAdmin admin = new HBaseAdmin(

doop使用常见问题以及解决方法[url]http://www.hadoopor.com/thread-71-1-1.html[/url]如何解决伪分布无法启动datanode的问题[url]http://elektrobank.iteye.com/blog/1264775[/url]hadoop格式化失败原因[url]http://blog.sina.com.cn/s/blog_48a45b9501011z7d.html[/url]在对namenode格式化之前，要确保

); } public void test1() throws IOException { URL u = new URL("hdfs://IP:8020/test"); InputStream is = u.openStream(); BufferedReader br = new BufferedReader(new InputStreamReader(is)); String line = null; while( (line=

gionserver.hlog.writer.implSequenceFileLogWriterHLog.Writer实现类hbase.regionserver.hlog.reader.implSequenceFileLogReaderHLog.Reader实现类hbase.regionserver.hlog.keyclassHLogKeyHLog.Entry的key实现类hbase.regionserver.wal.enablecompressionfa

未知，看名字似乎是用于 小合并的Daemon Thread [regionserver60020-smallCompactions-1392958977368] (Suspended)Unsafe.park(boolean, long) line: not available [native method]LockSupport.park(Object) line: 156AbstractQueuedSynchronizer$ConditionObject.await() line: 198

过IPC调用namenode的mkdir()这个操作会持久化到日志中FSImage#saveFSImage()，之后返回创建目录只是客户端和namenode交互，不会跟datanode交互     删除文件操作操作类似mkdir()，但是删除操作只是删除namenode中的引用关系，并不会真正删除datanode中的数据，namenode和datanode只是维持简单的主从关系，namenode不会向datanode发起任何IPC操作，datanode的数据删除操作是通过心跳