HBase
钛合金编程
静以修身,俭以养德!The greatest thing is, at any moment, to be willing to give up who we are in order to become all that we can be.
展开
-
HBase Shell 基本的增删改查CRUD操作
1. 1 HBase 命令模式HBase shell 命令提供了一个TAB键完成指令。$ hbase shell进入shell 命令模式后,可以使用HBase shell 命令来操作数据。将一个hbase日志日期'08/08/16 20:56:29'转化为一个timestamp,可以这样得到:hbase(main):021:0> import java.text.Simpl原创 2014-01-11 09:51:52 · 3144 阅读 · 0 评论 -
类似于谷歌大表(Google' Gigtable)的开源数据库,你知多少
想到大数据,你第一个会想到Google's Bigtable,其次就是根据其思想设计的开源数据库HBase。除此之外,你还知道其它的类似的开源数据库呢?我简要描述了其它的开源数据库,仅供了解.HBase简述· 编程语言: Java· 主要关注点: 上亿级的行百万级的列数据 Billions of rows X millions of columns· 许可证(Licens原创 2014-01-28 17:09:01 · 2357 阅读 · 0 评论 -
hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: 异常解决
创建Hive表结构时,报出这样一个异常:INFO hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B 原因是HBase和Hive的包libthrift-[*].jar不一致导致的。 解决方原创 2014-02-03 18:54:59 · 6283 阅读 · 0 评论 -
HTablePool 在Hbase 0.94、0.95、0.97被废弃,在0.98中被清除( HTablePool 对比HConnection.getTable)
HTablePool会被逐渐废弃,直到0.98的发行版本中会被清楚。使用新的API,HConnection.getTable(...)。它的设计思想: “默认情况下,当需要的时候,HConnectionInplementation将会创建一个ExecutorService。这个ExecutorService能够选择性地传递,传入进去进行处理。HTableInterfaces原创 2014-09-24 16:24:28 · 2459 阅读 · 0 评论 -
HBase 数据备份
HBase提供了备份的API,直接使用shell脚本调用就可以啦。具体命令如下:hbase org.apache.hadoop.hbase.mapreduce.Export 'user' /hbase_backup_set/20141110/userhbase org.apache.hadoop.hbase.mapreduce.Import 'user' /hbase_backup_set原创 2014-11-10 14:41:20 · 1530 阅读 · 0 评论 -
Zookeeper 集群搭建
分布式Zookeeper安装步骤:1. 安装准备 1.1 下载Zookeeper。下载链接:http://mirrors.hust.edu.cn/apache/zookeeper/ 1.2 解压缩到指定的目录下,比如:/opt/zookeeper下。 1.3 修改系统的hosts文件,指定域名映射。例如:192.168.177.167 mac原创 2014-01-10 15:43:05 · 2503 阅读 · 0 评论 -
深入理解客户端和HBase系统的交互
客户端应用程序如何与分布式的HBase系统进行交互的呢?详细看一下这个步骤,你便知道了。原创 2014-01-31 21:57:57 · 787 阅读 · 0 评论 -
学习Hadoop生态系统最值得一读的书籍
学习大数据的处理,有必要读一下有关大数据的书籍。这里,我列举了几本书,仅供参考。 1 ZooKeeper: Distributed Process Coordination 这本书针对的是初级或者高级的开发,面向Zookeeper编程的工程师们。如果你的工程中(如HBase)涉及到Zookeeper的应用,有必要了解一下Zookeeper的管理知识和一些基本解原创 2014-05-11 21:41:24 · 8665 阅读 · 1 评论 -
大数据Lambda架构
1 Lambda架构介绍Lambda架构划分为三层,分别是批处理层,服务层,和加速层。最终实现的效果,可以使用下面的表达式来说明。query = function(alldata)1.1 批处理层批处理层主用由Hadoop来实现,负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作,因此,当新数据到达时,使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算原创 2014-05-10 19:58:01 · 16917 阅读 · 1 评论 -
搭建Hadoop 2.2.0 和 HBase 0.94.14 集成
使用最新的Hadoop集群与HBase搭建一个分布式的运行环境,最新的Hadoop稳定版本是2.2.0,HBase 的稳定版本是0.94.14 ,搭建过程如下:1. 安装Hadoop 这个步骤,我的blog hadoop集群安装 2. 安装Hbase HBase 可以用3个模式之一来安装,分别是:独立模式( Standalo原创 2014-01-11 09:22:06 · 6527 阅读 · 2 评论 -
ClientCnxn: Session 0x0 for server null, unexpected error 异常解决
ClientCnxn: Session 0x0 for server null, unexpected error 异常是由于zookeeper配置不成功引起的。 解决方法: 1. 确保zookeer集群安装成功。通过jps能够正确显示zookeeper管理进程QuorumPeerMain。 2. HBase 中的zookeeper配置正确,zookeeper实原创 2014-01-10 16:09:41 · 11092 阅读 · 0 评论 -
高级column family 配置
1 配置块大小(Configurableblock size)HFile文件块大小能够通过column family级别进行配置,这个块与我们所熟知的HDFS块是不同的。HFile块的默认大小事64KB,并且快索引存储着每个HFile文件的开始关键字。配置块文件的大小将影响到块索引文件的大小。块越小,索引文件就越大,因此会产生更大的内存消耗。初始化HFile块大小命令:hbase(原创 2014-02-01 16:14:28 · 3054 阅读 · 3 评论 -
理解HBase zookeeper和-Root-/.MET表
1 探究Zookeeper 安装过HBase的开发者一定知道,HBase本身就嵌入了Zookeeper,你可以选择安装嵌入的Zookeeper,也可以安装一个分布式的Zookeeper集群。具体的安装步骤,可以到我的博客里查找。 我们可以手工与Zookeeper交互的方式就是使用HBaseshell命令。使用zk_dump来查看HBase的安装等信息。 hbase(main原创 2014-01-29 17:09:59 · 3687 阅读 · 0 评论 -
浅析HBase架构和系统结构介绍(二)
2 HBase架构 HBase系统架构图(注意,每个HRegsionServer维护一个HLog文件) 2.1客户端(client)HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信原创 2014-02-02 12:11:49 · 4479 阅读 · 0 评论 -
浅析HBase架构和系统结构介绍(一)
特别说明:一下内容均来自网络,个人整理和摘要的内容而已1 简介 HBase,是一个Hadoop上的数据库,是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,它介于NoSQL和RDBMS之间,是Google Bigtable的开源实现。。利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase中的表一般有如下特点:海量数据:一原创 2014-02-02 12:04:42 · 2121 阅读 · 0 评论 -
return code -101 from org.apache.hadoop.hive.ql.exec.DDLTask问题解决
运行Hive shell命令创建表时,报出下面这个错误:java.lang.NoSuchMethodError: org.apache.hadoop.net.NetUtils.getInputStream(Ljava/net/Socket;)Ljava/io/InputStream; at org.apache.hadoop.hbase.ipc.HBaseClient$Conn原创 2014-02-02 21:04:17 · 9535 阅读 · 0 评论 -
Hive与HBase集成
1 安装准备下载最新稳定版的Hive,资源库http://mirror.esocc.com/apache/hive/本文以当前的稳定版本0.11为例子,介绍基本的安装步骤。$>tar -xvf hive-0.11.0.tar.gz$>mv hive-0.11.0hive#移动到指定的目录下$>mvhive /opt/这个教程的软件版本信息:Hadoop-2.2.0 集群HB原创 2014-02-03 09:08:37 · 1913 阅读 · 0 评论 -
深入理解客户端和HBase系统的交互
客户端应用程序如何与分布式的HBase系统进行交互的呢?详细看一下这个步骤,你便知道了。 这些步骤就存在于客户端与HBase系统的交互中。这种交互刚开始与Zookeeper服务,然后就是与那些客户端需要去交互的区域服务器(RegionServer)。在于区域服务器的交互中能够读或者写信息,这些有关-ROOT-和.META.表的信息将缓存在客户原创 2014-02-03 09:48:10 · 2291 阅读 · 0 评论 -
HBase 0.98 发布简介
hbase-0.98.0 is now available for download [0] from the Apache mirrors andits artifacts are available in the Apache Maven repository.Apache HBase is a scalable, distributed data store that run原创 2014-02-26 23:23:30 · 2361 阅读 · 0 评论 -
那些年,我读过的技术书(Java续篇1)
5 HBase数据库 推荐两本书,我读过的两本好书。HBase.in.Actionhbase_the_definitive_guide监控方面的好书5 Lucene 现在,大部分都是基于Lucene检索系统。比较火的框架是Solr,有下面这基本书值得读一下.Manning.Lucene in原创 2014-03-06 10:36:39 · 1527 阅读 · 0 评论 -
浅析HBase架构和系统结构介绍(五)
5 关键算法/流程5.1 region定位 HBase如何找到某个row key (或者某个row key的range)所在的region?使用三层类似B+树的结构来保存region位置:第一层:Zookeeper保存了-ROOT-表的位置。第二层:-ROOT- 表保存了.META.表所有region的位置,通过-ROOT-表,可以访问.META.表的数据。第三层:.ME原创 2014-02-02 12:32:19 · 2651 阅读 · 6 评论 -
浅析HBase架构和系统结构介绍(三)
3 数据模型3.1 表和列族(Table & column family)HBase以表的形式存储数据,表由行和列组成,列划分为若干个列族(column family)。l row key:row key是用来检索记录的主键。访问HBase table中的行,只有三种方式:通过单个row key访问 通过row key的range 全表扫描row ke原创 2014-02-02 12:21:51 · 2431 阅读 · 1 评论 -
HRegionServer: Master rejected startup异常解决
这个是由于集群中的系统时钟不一致而引起的异常。 解决方法: 安装ntpdate同步服务。sudo ntpdate pool.ntp.org 同步系统时钟就OK了原创 2014-01-10 15:49:19 · 1166 阅读 · 0 评论 -
浅析HBase架构和系统结构介绍(六)
6 HBase 上的MapReduce 在HBase系统上运行批处理运算,最方便和实用的模型依然是MapReduce,如下图:HBase table和region的关系,比较类似HDFSfile和block的关系,HBase提供了配套的TableInputFormat和TableOutputFormat API,可以方便的将HBase table作为Hadoop MapReduce原创 2014-02-02 12:34:53 · 1844 阅读 · 0 评论 -
浅析HBase架构和系统结构介绍(四)
4 HBase存储格式HBase中的所有数据文件都存储在Hadoop HDFS文件系统上,主要包括上述提出的两种文件类型:1. HFile, HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装。2. HLogFile,HBase中WAL(Write Ahead Log) 的存储格式,物理上是Had原创 2014-02-02 12:28:53 · 2144 阅读 · 1 评论 -
Eclipse 安装Hadoop-2.2.0插件
1. 安装准备1.1 Eclipse下载最新的Eclipse Linux版本,这里主要介绍Linux环境下的安装。64位Linux版本下载,点击eclipse-jee-kepler-R-linux-gtk-x86_64.tar.gz。解压缩,安装指令省略。1.2 hadoop2x-eclipse-plugin在github托管门户中下载hadoop2x-ecli原创 2014-01-25 15:14:18 · 4955 阅读 · 1 评论