HBase
doliu6
这个作者很懒,什么都没留下…
展开
-
HBase模式设计之ID顺序增长(rowkey顺序增长)
在设计RowKey的时候,常常有应用的RowKey必须包含ID部分,这样才可以支持查询访问。但ID自增长,会导致写入数据的时候压力集中在某一个或少数几个Region上,这是HBase设计的大忌。 经过多个应用的实践,我创造了ID的二进制反转的方式来避免。 简单说明: 比如ID是Byte型(一般为int或者long,此处为方便解释),RowKey=ID+timestamp,1,2,3原创 2013-09-24 02:14:12 · 7733 阅读 · 1 评论 -
HBase在京东的完善与创新
随着大数据处理时代的到来,NoSQL风生水起。京东作为国内最大的综合网络零售商,随着业务数据量爆发式增长,传统的关系数据库在海量数据面前开始显得捉襟见肘,于是京东云平台在Hadoop生态集群经验积累的基础上,引入了HBase作为海量数据存储的基础设施。虽然引入时间不长,但京东数十个业务系统已经使用了HBase,包括实时在线业务、离线批量计算业务、批量导入兼在线访问等业务类型。为了提高资源利用率,多原创 2013-10-18 11:33:17 · 1778 阅读 · 0 评论 -
HBase基础几个关键点——你能答出多少?
根据常用业务经常碰到的问题,总结出的一些容易误解,或者需要深刻了解的基础核心。原创 2013-10-18 07:59:19 · 2919 阅读 · 0 评论 -
HBase的Compact和Split源码分析与应用--基于0.94.5
经过对比,0.94。5以后版本主要过程基本类似(有些新功能和细节增加) 一、 Compact2.1. Compact主要来源来自四个方面:1、Memstoreflush时;2、HRegionServer定期做Compaction Checker时;3、HBaseAdmin客户端发起的请求;4、CompactTool发起。1) MemstoreFlu原创 2013-10-29 12:00:01 · 9978 阅读 · 0 评论 -
HBase入门到精通——培训资料分享
包括:《大数据存储之道-HBase介绍》《HBase设计:用与不用的智慧》《HBase使用之基础与原理》《HBase使用之建模与使用》另外深度实践篇和系统调优篇主要是经验,可以从网络收集。主要内容包括:应用层设计模式、架构(多级缓存设计、混合数据源使用)、优化配置如scan一次获取的条数,notcpdelay,重试机制等,也可以看asynchbase客户端代替原生hbase原创 2014-01-23 15:49:16 · 1631 阅读 · 1 评论