Hbase
文章平均质量分 54
lqf1403
勤学如春起之苗,不见其长,日有所增。辍学如磨刀之石,不见其损,日有所亏。
展开
-
Hbase1.1.2采用javaAPI插入批量数据
最近在做采用javaAPI批量往Hbase插值的工作,记录一下Configuration cfg = HbaseConfiguration.create();Connnection conn = ConnectionFactory.createConnection();Table table = conn.getTable(TableName.valueOf("table_name"));Lis原创 2015-11-13 14:40:18 · 4708 阅读 · 1 评论 -
Hbase-1.1.2 HRegionServer全部挂掉的报错信息图片及解决办法
集群环境:三台机器,每台2g内存,安装了handoop2.2.0,Hbase1.1.2.数据源:4G的tar.gz包,里面是zip包,zip包里面是txt文件。压缩包解析、插入habse代码已经用java实现了插入habse–java代码Configuration cfg = HbaseConfiguration.create();Connnection conn = ConnectionFact原创 2015-11-08 17:05:51 · 1648 阅读 · 0 评论 -
Hbase-1.1.2完全分布式安装教程
Hbase-1.1.2完全分布式安装教程安装环境说明: 现有三台服务器,已经搭建了一个hadoop集群,master:master1,slaves:pc2,pc3。1、去官网下载Hbase的安装包,http://apache.claz.org/hbase/stable/ tar -zxvf hbase-1.1.2-bin.tar.gz 将下载的hbase安装包解压2、配置hbase2原创 2015-11-01 18:31:24 · 7225 阅读 · 2 评论 -
Hbase 报错:RegionTooBusyException
今天遇到了个奇怪的问题,写了一个mapreduce的程序向Hbase中插入数据,当hbase的版本是1.1.2时是没有问题的,但是当hbase的版本降为0.98后就出现了下面的问题 问题的原因:Thrown by a region server if it will block and wait to serve a request. For example, the client wants t原创 2015-12-23 21:33:08 · 6895 阅读 · 0 评论 -
Hbase相关概念,配置总结
一、HBASE 简介HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文”Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBas转载 2016-03-01 16:44:51 · 918 阅读 · 0 评论 -
HBASE启动脚本/Shell解析
常用到的HBase启动脚本有: 1.$HBASE_HOME/bin/start-hbase.sh 启动整个集群 2.$HBASE_HOME/bin/stop-hbase.sh 停止整个集群 3.$HBASE_HOME/bin/hbase-daemons.sh 启动或停止,所有的regionserver或zookeeper或backup-master 4.$HBASE_HOME/bin转载 2016-03-03 10:37:23 · 1411 阅读 · 0 评论 -
Hbase写入速度优化
Facebook在谈到其选择HBase作为新的message体系的存储时,提到了一点是hbase的高性能写,那hbase的写性能状况到底如何了,还是需要靠测试来说明,在这篇blog中就以我们目前做的一些测试来看看hbase的写速度,以及分享下我们对于测试中体现出来的数据的分析和测试时碰到的一些问题,还希望对hbase有研究或实践的同学多加指正。 测试环境: 1、4个client,每client转载 2016-03-03 11:09:44 · 9718 阅读 · 0 评论 -
使用mapreduce向hbase1.1.2插入大量数据
1、集群环境hadoop2.5+hbase1.1.2集群现在有37台slave节点,一个master节点。2、数据源每一天的数据压缩成了一个tar.gz包,大概4G,其中大概有6000个zip包,每个zip包中有几个txt文件。现在采用shell脚本将每天的数据合并成一个txt,大概有几十G。3、插入要求现在要将txt文件中的每一行作为一条记录插入hbase。4、建表create ‘ter原创 2015-12-07 11:05:00 · 7420 阅读 · 1 评论