Hbase
文章平均质量分 72
cuilanbo
自己在海量领域混迹有两年了,主要从事与hadoop和hbase相关的工作。没事也会研究研究代码,希望和大家一起分享。如果有问题的话可以加我qq:158646832 , 一起讨论
展开
-
hbase写入库出现问题
Hbase 在写入的时候报错: 2012-03-22 00:00:02,204 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server Responder, call multi(org.apache.hadoop.hbase.client.MultiAction@40b9bcb6) from 192.168.6.11:35611: outpu原创 2012-03-23 19:10:39 · 1567 阅读 · 0 评论 -
快速全量检索Hbase的核武器---------HfileInputFormat
此博客是转载别人的,方法实现也是别人实现的,在此感谢这位大牛!原博客地址:http://blog.csdn.net/kirayuan/article/details/7794402我对这个实现改了一个小地方,当时是因为本地编译未通过........囧~~~~~import java.io.IOException;import org.apache.hadoop.conf.Con转载 2012-12-19 10:04:26 · 1824 阅读 · 0 评论 -
Hbase源码研究(三)-------get最终转化为scan来处理(2)
上一篇分析到了Scan scan = new Scan(get) 之后就没再往下写了, 现在继续补上。 先来分析一下Scan的创建过程,public Scan(Get get) { this.startRow = get.getRow(); this.stopRow = get.getRow(); this.filter = get.getFilter(原创 2012-12-29 16:38:01 · 2465 阅读 · 0 评论 -
Hbase源码研究(六)------put(4)
今天来看一下HRegion类里面的doMiniBatchPut 方法,又是一个麻烦的类........@SuppressWarnings("unchecked") private long doMiniBatchPut( BatchOperationInProgress> batchOp) throws IOException { WALEdit walEdit =原创 2013-01-05 11:55:04 · 1296 阅读 · 0 评论 -
HBase MapReduce 使用
项目中需要用MapReduce来读取或者写Hbase,这样可以节省大量开发时间。Hbase本身的jar包里就有这样的API , 以下是我从官网上找的一些资料,和大家分享一下。原文地址:http://hbase.apache.org/book/mapreduce.example.html总体说明一下:TableMapper 主要是读hbase数据,TableReducer 主要是写hba原创 2012-12-19 14:20:35 · 5547 阅读 · 0 评论 -
Hbase源码研究(五)------put(3)
继续上面的分析,主要看提交这下 OperationStatus[] codes = region.put(putsWithLocks.toArray(new Pair[]{}));仔细看put这个方法/** * Perform a batch of puts. * * @param putsAndLocks * the list of原创 2013-01-04 16:24:29 · 928 阅读 · 0 评论 -
Hbase源码研究(四)------put(2)
在前面的文章里粗略地分析了hbase的put的源码,但是对提交那块分析的不够深入.........现在把提交那块拿出来再分析一下。 书接上文,前面说了在HconnectionManager 其中有一步是提交请求,调用了如下代码 private Callable createCallable(final HRegionLocation loc, final Mu原创 2013-01-04 14:57:36 · 889 阅读 · 0 评论 -
Hbase源码研究(一)------put(1)
近来由于工作需要,阅读了一下hbase的源码(0.92.1版),有时间就看一点儿,慢慢完善。有琢磨的不对的地方,还请大家多多指教。先从入数据开始。Put方法最终会调用HTable的doPut方法private void doPut(final List puts) throws IOException { int n = 0; for (Put put : puts)原创 2012-12-26 16:42:00 · 1731 阅读 · 0 评论 -
Hbase中百万级request不是痴人说梦
昨天和一个互联网公司leader聊天,我说我们hbase集群(几十台小集群)的写请求达到过百万级别,那个leader死活不信。说他们PB级别的数据每秒都在入库也压不到百万级别请求。 啥都不说,先上图吧,有图有真相。 仔细看一下代码,不难发现writeRequestsCount 这个值不是进行一次RPC才增加一次,而是一条put就增加一次。也就是说一次RPC可能多条原创 2012-12-29 16:57:34 · 3266 阅读 · 1 评论 -
Hbase源码研究(二)-------get最终转化为scan来处理(1)
昨天和一个互联网公司的leader争执关于get和scan的问题......记得以前粗略看过一次代码,清楚的记得在0.92.1版本里get最终是转化成scan来处理的......就怪自己当时手贱,脑子笨。没记清楚具体转化步骤......今天写个博客再来分析一下。有代码有真相!!!!!! 首先看下HTable 这个类里get方法@Override public Result get原创 2012-12-29 15:44:01 · 1023 阅读 · 0 评论 -
HBase MapReduce实例分析
跟Hadoop的无缝集成使得使用MapReduce对HBase的数据进行分布式计算非常方便,本文将以前面的blog示例,介绍HBase下MapReduce开发要点。很好理解本文前提是你对Hadoop MapReduce有一定的了解,如果你是初次接触Hadoop MapReduce编程,可以参考http://qa.taobao.com/?p=10523 这篇文章来建立基本概念。HBase Map转载 2012-09-14 16:20:29 · 853 阅读 · 0 评论 -
HBase写入性能改造(续)--MemStore、flush、compact参数调优及压缩卡的使用
原地址: http://blog.csdn.net/kalaamong/article/details/7324894首先续上篇测试:经过上一篇文章中对代码及参数的修改,HBase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。本篇主要介绍参数调整的方法,在HDFS上加上压缩卡,最后能达到的写入性能为17W行每秒(全部测试都不开Hlog)。转载 2012-05-04 11:04:07 · 1904 阅读 · 0 评论 -
多region下的hbase写入问题
原url地址为:http://koven2049.iteye.com/blog/1144526 最近在集群上发现hbase写入性能受到较大下降,测试环境下没有该问题产生。而生产环境和测试环境的区别之一是生产环境的region数量远远多于测试环境,单台regionserver服务了约3500个region。 通过jstack工具检查到大半写入线程BLOCKED状态在"publ转载 2012-04-06 10:36:08 · 775 阅读 · 0 评论 -
菜鸟谈HBase之写速度篇
Facebook在谈到其选择HBase作为新的message体系的存储时,提到了一点是hbase的高性能写,那hbase的写性能状况到底如何了,还是需要靠测试来说明,在这篇blog中就以我们目前做的一些测试来看看hbase的写速度,以及分享下我们对于测试中体现出来的数据的分析和测试时碰到的一些问题,还希望对hbase有研究或实践的同学多加指正。 测试环境: 1、4个clie转载 2012-03-16 11:14:58 · 1469 阅读 · 0 评论 -
hbase 快照和集群备份的NB方法
HBase Snapshots允许你对一个表进行快照(即可用副本),它不会对Region Servers产生很大的影响,它进行复制和 恢复操作的时候不包括数据拷贝。导出快照到另外的集群也不会对Region Servers产生影响。 下面告诉你如何使用Snapshots功能1.开启快照支持功能,在0.95+之后的版本都是默认开启的,在0.94.6+是默认关闭 property>转载 2015-01-29 17:05:17 · 5958 阅读 · 0 评论