hbase
文章平均质量分 81
pwlazy
这个作者很懒,什么都没留下…
展开
-
谈谈HTable的实现
背景HTable作为HBase的CRUD的客户端底层是怎么实现的,虽然HBase-The-Definitive-Guide 这本书的作者推荐在生产环境使用HTablePool但了解HTable还是很有必要的下面以一个简单的例子来说明 protected static String TEST_TABLE_NAME = "testtable"; protected static String ROW原创 2012-03-31 20:54:04 · 12022 阅读 · 1 评论 -
HTablePool的实现分析
1)基本概念HTablePool3种类型PoolType.Reusable(默认)一个实例池,多线程复用,内部是每个table一个ConcurrentLinkedQueue装多个实例PoolType.ThreadLocal,很奇怪的实现,每个线程只能有一个实例,感觉在多线程的场景没有意义PoolType.RoundRobin(没有被使用,就算设置了该类型也没用,见HTablePool的构造函原创 2012-04-13 00:36:57 · 10508 阅读 · 2 评论 -
HRegionServer 启动分析
HRegionServer的初始化到底做了哪些事情,以线程的维度应该能比较清晰的说明,也便于以后更进一步深入的分析。如果能弄清楚每个线程的职责分工,基本上HRegionServer的原理就明白了HRegionServer的初始化1.1)实例化一个典型的栈快照Thread [main] (Suspended) WritableRpcEngine$Server(HBaseServer).(Strin原创 2012-05-21 23:35:06 · 9886 阅读 · 0 评论 -
zookeeper client分析
1)几个重要概念 ZooKeeper:客户端入口Watcher:客户端注册的callbackZooKeeper.SendThread: IO线程ZooKeeper.EventThread: 事件处理线程,处理各类消息callbackClientCnxnSocketNIO:继承自ClientCnxnSocket,专门处理IO2)zookeeper初始化应用提供watch实例实例化zookeeper实原创 2012-09-20 15:56:57 · 12521 阅读 · 2 评论 -
zookeeper 存储之文件格式分析
zookeeper主要存放了两类文件,一个是snapshot和log,前者是内存数的快照,后者类似mysql的binlog,将所有与修改数据相关的操作记录在log中, 两类文件的目录可在配置文件中指定下面通过几个典型的场景来分析两种文件的存储格式 snapshot文件格式 详见ZooKeeperServer.takeSnapshot, 列举1个简单的场景说明问题 场景 刚刚装了zookeepe原创 2012-10-17 11:41:06 · 17157 阅读 · 0 评论 -
zookeeper存储之实现分析
zookeeper 存储基本都是在SyncRequestProcessor 单个线程完成的1) 初始化1.1)DataTree初始化public DataTree() { /* Rather than fight it, let root have an alias */ nodes.put("", root); nodes.put(rootZ原创 2012-11-01 15:44:47 · 15350 阅读 · 3 评论 -
zookeeper session tracker机制分析
说到zookeeper session管理 ,免不了要问什么是session?session id/session是如何产生的?session 信息如何存储?本文以session tracker线程【详见SessionTrackerImpl】的运行机制作为主线,并尝试解答一些相关问题1)session基础在介绍session tracker线程之前先回答几个问题1.1) 什么是session?zo原创 2012-11-07 14:00:40 · 10585 阅读 · 2 评论 -
hive查询hbase
背景 hbase查询的确是不太方便,除了指定rowkey,或者通过指定startkey stopkey进行scan之外,没有更有效的查询方式 如果想通过列值过滤,只能全表扫描了 如果要搞什么group by或者order by(除非你的rowkey做了相应设计) 更是没法弄 在传统的mysql/oracle得心应手的查询在hbase上就是束手束脚 当然可以通过写hadoop j原创 2013-12-24 14:49:54 · 12538 阅读 · 3 评论