HBase
我爱大海V5
从事互联网工作
展开
-
业务开发测试HBase之旅三:通过Java Api与HBase交互
http://blog.sina.com.cn/s/blog_8c6d7ff60100zbgz.html 引言HBase提供了Java Api的访问接口,掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要,本文将继续前两篇文章中blog表的示例,介绍常用的Api。练习前的准备工作创建一个Maven工程,加入以下依赖: org.apache.hbas转载 2013-11-22 12:54:08 · 1178 阅读 · 0 评论 -
HBase的目录结构
HBASE的目录结构如图:根目录文件(Root-level files)第一部分文件是被Hlog处理的write-ahead日志文件,这些日志文件被保存在HBase根目录下的.logs文件夹。.logs目录下面为每一个HRegionServer单独创建一个文件夹,每一个文件夹下有几个HLog文件(因为log rotation)。每一个HRegionServer的原创 2013-12-05 11:34:03 · 1485 阅读 · 0 评论 -
HBase学习网址
今天将整理的一些HBase学习网址 分享给大家,希望对大家有帮助!1.淘宝:http://www.searchtb.com/tag/hadoop 和http://rdc.taobao.com/team/jm/archives/9752.官方网站:http://hbase.apache.org/ 3.开源中国社区:http://www.oschina.net/p/原创 2013-12-03 16:14:49 · 2056 阅读 · 0 评论 -
HBase学习总结
HBase是一种构建在HDFS之上的分布式、面向列的存储系统。在需要实时读写、随机访问超大数据集时,可以使用HBase这一Hadoop应用。传统行式数据库和列式数据库的区别:传统行式数据库:数据是按行存储的。没有索引的查询使用大量IO。建立索引和物化视图需要花费大量时间和资源。面对查询的需求,数据库必须被大量膨胀才能满足性能要求。列式数据库:数据按列存储(每一列单独存放)。原创 2013-12-03 14:16:27 · 771 阅读 · 0 评论 -
hbase 详解
http://www.alidata.org/archives/1509一、简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop co转载 2013-12-03 16:03:18 · 1073 阅读 · 0 评论 -
hbase源码学习.Lease
引用:http://hi.baidu.com/xuelianglv/blog/item/43adb1103504ef07203f2e0c.html#0 在BigTable的论文中讲到了Lease的概念。Least就好比你租房子住,签了多长的合约。如果时间长了,你可以续约(renew)。你也可能因为房子不习惯想换个地住,你就和房东说,取消住房(cancel)。当然在Hbase转载 2013-12-03 15:28:03 · 707 阅读 · 0 评论 -
hbase操作以及维护
一,基本命令: 建表:create 'table','t1','t2' 也可以建表时加coulmn的属性如:create 'table',{NAME => 't1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '10', COMPRESSION => 'LZO', TTL => '30000'转载 2013-12-03 15:19:29 · 828 阅读 · 0 评论 -
HBase Java API详解
增加一个64M的文件,直到总文件数超过由“hbase.hstore.compactionThreshold”指定的数量时(默认为3),compaction过程就将被触发了。在上述值为3时,此时该region目录下,实际文件数只有两个,还有额外的一个正处于内存中将要被刷入到磁盘的过程中。Compaction过程是Hbase的一个大动转载 2013-12-03 11:32:17 · 744 阅读 · 0 评论 -
Hadoop Mapper 阶段将数据直接从 HDFS 导入 Hbase数据源格式如下:
数据源格式如下:120130512 1 -1 -1 13802 1 2013-05-12 07:26:22220130512 1 -1 -1 13802 1 2013-05-12 11:18:24创建hbase的表:原创 2013-12-06 10:40:36 · 1519 阅读 · 0 评论 -
mapreduce调试查询System.out的结果
http://blog.csdn.net/xw13106209/article/details/6897683目录(?)[-]前言给出测试程序的代码然后给出用于测试该程序的数据最后给出该程序的输入参数查找Systemout的内容总结1.前言刚接触mapreduce的人肯定为碰到这样的问题,就是我们在程序中如下类似的命令转载 2013-11-26 15:09:20 · 848 阅读 · 0 评论 -
HBase MapReduce Examples
7.2. HBase MapReduce Examples7.2.1. HBase MapReduce Read ExampleThe following is an example of using HBase as a MapReduce source in read-only manner. Specifically, there is a转载 2013-11-26 17:05:37 · 848 阅读 · 0 评论 -
业务开发测试HBase之旅二:通过HBase Shell与HBase交互
http://blog.sina.com.cn/s/blog_8c6d7ff60100zbgp.html 引言HBase提供了Java Api的访问接口,掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要,本文将继续前两篇文章中blog表的示例,介绍常用的Api。练习前的准备工作创建一个Maven工程,加入以下依赖: org.apache.hbase转载 2013-11-22 12:58:30 · 1206 阅读 · 0 评论 -
业务开发测试HBase之旅五:HBase MapReduce测试实战
http://www.kuqin.com/database/20111015/312906.html引言在上篇文章中介绍了如何利用MapReduce来分析HBase中的数据,并通过代码示例来演示。老实说,当我写完那段代码时我一点信心都没有,我非常想知道这个job能否正常执行,结果是否符合预期,怎么办呢?一个常见的流程可能是这样的:1. 申请HBase环境的访问权限(或者自己搭一套)转载 2013-11-22 12:49:44 · 1164 阅读 · 0 评论 -
业务开发测试HBase之旅一:HTable基本概念
引言团队中使用HBase的项目多了起来,对于业务人员而言,通常并不需要从头搭建、维护一套HBase的集群环境,对于其架构细节也不一定要深刻理解(交由HBase集群维护团队负责),迫切需要的是快速理解基本技术来解决业务问题。最近在XX项目轮岗过程中,尝试着从业务人员视角去看HBase,将一些过程记录下来,期望对快速了解HBase、掌握相关技术来开展工作的业务人员有点帮助。我觉得作为一个初次接触H转载 2013-11-22 13:02:00 · 1326 阅读 · 0 评论 -
业务开发测试HBase之旅四:HBase MapReduce实例分析
http://www.kuqin.com/database/20111015/312905.html 引言跟Hadoop的无缝集成使得使用MapReduce对HBase的数据进行分布式计算非常方便,本文将以前面的blog示例,介绍HBase下MapReduce开发要点。很好理解本文前提是你对Hadoop MapReduce有一定的了解,如果你是初次接触Hadoop MapReduc转载 2013-11-22 12:18:40 · 1019 阅读 · 0 评论 -
命令行运行Hbase: Session 0x0 for server null, unexpected error
又重新看了下hbase的操作,以前虽说是运行过对Hbase的操作,比如直接的建表,导入数据,或者是使用MR操作Hbase,但是都是在单节点上做的,而且是用eclipse下操作的,不用担心一些包的问题。今天打算把代码拷贝到Hadoop的lib下面,然后在命令行中运行,遇到的一个问题如下:12/09/29 12:29:36 INFO zookeeper.ZooKeeper: Initiat原创 2013-12-06 10:07:02 · 3029 阅读 · 0 评论