HBase
文章平均质量分 66
guoqiangma
这个作者很懒,什么都没留下…
展开
-
HBase简介
HBase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行M转载 2012-10-22 15:01:01 · 409 阅读 · 0 评论 -
HBase-Regions in Transition 问题
1. 问题描述发现hbase集群中有一个表的regionzai原创 2014-04-09 00:36:56 · 8149 阅读 · 0 评论 -
Java操作HBase
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.h转载 2012-10-22 15:10:52 · 455 阅读 · 0 评论 -
Sqoop导表在大并发下造成RegionServer的系统cpu过高
对于初始时只有一个Region并配置过多的map时,可能会造成某一RegionServer的系统cpu过高,主要原因是多个map任务会通过RPC同时向一个RegionServer写入数据,当RegionServer的RPC Handler线程过少时,其它map端就会等待,此时RegionServer会堆积大量的网络请求二无法及时响应,从而造成系统cpu过高,解决方案:方案一:增大R原创 2014-04-09 00:49:28 · 2338 阅读 · 0 评论 -
python 访问hbase
通过thrift,我们可以使用python访问hbase。关于thriftthrift是一个跨语言服务的软件开发框架(Thrift is a software framework for scalable cross-language services development.)。它的官方网站是:http://incubator.apache.org/thrift/原创 2014-01-16 11:12:51 · 1070 阅读 · 0 评论 -
HBase性能优化方法总结
转自http://blog.linezing.com/2012/03/hbase-performance-optimization本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,这里涉及的不多,这部分可以参考:淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions转载 2012-11-29 20:30:06 · 518 阅读 · 0 评论 -
HBase专题介绍6
我的废话1: 任何一项新技术并非救命稻草,一抹一擦立马药到病除的百宝箱,并非使用Spring或者NOSQL的产品就神乎其神+五光十色,如果那样基本是扯淡。同类 型产品中不管那种技术最终要达到的目的是一样的,通过新的技术手段你往往可能避讳了当前你所需要面对的问题,但过后新的问题又来了。也许回过头来看看还不 如在原来的基础上多动动脑筋 想想办法 做些改良可以得到更高的回报。转载 2012-10-25 17:22:09 · 431 阅读 · 0 评论 -
HBase专题介绍 1
HBase是什么? HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示:HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来启动Jetty,因此可转载 2012-10-25 17:16:28 · 429 阅读 · 0 评论 -
HBase专题介绍 2
本篇文章讲述用HBase Shell命令 和 HBase Java API 对HBase 服务器 进行操作。在此之前需要对HBase的总体上有个大概的了解。比如说HBase服务器内部由哪些主要部件构成?HBase的内部工作原理是什么?我想学习任何一项知识、技术的态度不能只是知道如何使用,对产品的内部构建一点都不去关心,那样出了问题,很难让你很快的找到答案,甚至我们希望最后能对该项技术的领悟出自转载 2012-10-25 17:17:28 · 985 阅读 · 0 评论 -
HBase专题介绍 5
在上一篇关于HBase的文章中曾经讲述过HBase在分布式中的架构,这篇文章将会讲述HBase在分布式环境中是如何排除单点故障的(SPFO),做一个小实验讲述HBase在分布式环境中的高可用性,亲眼看到一些现象,延伸一些思考的话题。先来回顾一下HBase主要部件: 1.HBaseMaster 2.HRegionServer 3.HBase Client转载 2012-10-25 17:21:21 · 386 阅读 · 0 评论 -
HBase专题介绍 4
前几篇文章讲述了 HBase的安装、Hbase命令和API的使用、HBase简单的优化技巧,《HBase入门篇4》这篇文章是讲述把HBase的数据放在HDFS上的点滴过程。目前对与HBase我是一个绝对的新手,如果在文章中有任何我理解有错误的地方请各位指正,谢谢。Ok,进行正题 ……… 在HBase中创建的一张表可以分布在多个Hregion,也就说一张表可以被拆分成多块,每一块转载 2012-10-25 17:20:31 · 397 阅读 · 0 评论 -
HBase专题介绍 3
前两篇文件分别说到了我在学习HBase中的一些入门经验,而《HBase 入门3》这篇文章浅显的从几个方面谈谈HBase的一些优化技巧,只能作为我学习笔记的一部分,因为学多了怕忘,留给自己以后看看。1 修改 linux 系统参数 Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整转载 2012-10-25 17:19:56 · 357 阅读 · 0 评论 -
MapReduc操作HBase
本文来自:http://qa.taobao.com/?p=13914实例分析本文通过实例分析演示了使用MapReduce分析HBase的数据,需要注意的这只是一种常规的方式(分析表中的数据存到另外的表中),实际上不局限于此,不过其他方式跟此类似。blog例子来进行示例分析,业务需求是这样:找到具有相同兴趣的人,我们简单定义为如果author之间article的tag相同,则认为两者转载 2012-10-22 15:11:52 · 1043 阅读 · 0 评论 -
HBase shell 简单使用
引言HBase提供了丰富的访问接口。 • HBase Shell • Java clietn API • Jython、Groovy DSL、Scala • REST • Thrift(Ruby、Python、Perl、C++…) • MapReduce • Hive/Pig其中HBase Shell是常用的便捷方式首先你需要一个HBase转载 2012-10-22 15:10:05 · 551 阅读 · 0 评论 -
linux安装HBase
linux安装HBase(1) 编辑$HBASE_HOME/conf/hbase-env.sh文件,设置JAVA_HOME和HBASE_CLASSPATH变量 export JAVA_HOME=/usr/lib/jvm/java1.6.0_30 (自己的JAVA_HOME主目录) export HBASE_CLASSPATH=$HADOOP_HO转载 2012-10-22 15:09:25 · 846 阅读 · 0 评论 -
python 访问hbase
通过thrift,我们可以使用python访问hbase。关于thriftthrift是一个跨语言服务的软件开发框架(Thrift is a software framework for scalable cross-language services development.)。它的官方网站是:http://incubator.apache.org/thrift/原创 2014-04-09 00:46:17 · 866 阅读 · 0 评论