我爱大海V5的专栏

我如同永不老去的时光,奔腾不停,只渴望在某一天能找到属于自己的辉煌,如同蜗牛终将爬上金字塔的塔顶,欣赏大地第一缕阳光,沐浴人间第一丝温暖。 ...

Hadoop Mapper 阶段将数据直接从 HDFS 导入 Hbase数据源格式如下:

数据源格式如下: 1 20130512    1   -1  -1  13802   1   2013-05-12 07:26:22 2 20130512    1   -1  -1  13802   1   20...

2013-12-06 10:40:36

阅读数:1333

评论数:0

命令行运行Hbase: Session 0x0 for server null, unexpected error

又重新看了下hbase的操作,以前虽说是运行过对Hbase的操作,比如直接的建表,导入数据,或者是使用MR操作Hbase,但是都是在单节点上做的,而且是用eclipse下操作的,不用担心一些包的问题。今天打算把代码拷贝到Hadoop的lib下面,然后在命令行中运行,遇到的一个问题如下: ...

2013-12-06 10:07:02

阅读数:2102

评论数:0

HBase的目录结构

HBASE的目录结构如图: 根目录文件(Root-level files) 第一部分文件是被Hlog处理的write-ahead日志文件,这些日志文件被保存在HBase根目录下的.logs文件夹。.logs目录下面为每一个HRegionServer单独创建一个文件夹,每一个文件夹下有...

2013-12-05 11:34:03

阅读数:1123

评论数:0

HBase学习网址

今天将整理的一些HBase学习网址 分享给大家,希望对大家有帮助! 1.淘宝:http://www.searchtb.com/tag/hadoop 和http://rdc.taobao.com/team/jm/archives/975 2.官方网站:http://hbase.a...

2013-12-03 16:14:49

阅读数:802

评论数:0

hbase 详解

http://www.alidata.org/archives/1509 一、简介 history  started by chad walters and jim 2006.11 G release paper on BigTable ...

2013-12-03 16:03:18

阅读数:912

评论数:0

hbase源码学习.Lease

引用: http://hi.baidu.com/xuelianglv/blog/item/43adb1103504ef07203f2e0c.html#0   在BigTable的论文中讲到了Lease的概念。Least就好比你租房子住,签了多长的合约。如果时间长了,你可以续约(r...

2013-12-03 15:28:03

阅读数:535

评论数:0

hbase操作以及维护

一,基本命令:     建表:create 'table','t1','t2'      也可以建表时加coulmn的属性如:create 'table',{NAME => 't1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '...

2013-12-03 15:19:29

阅读数:703

评论数:0

HBase学习总结

HBase是一种构建在HDFS之上的分布式、面向列的存储系统。在需要实时读写、随机访问超大数据集时,可以使用HBase这一Hadoop应用。 传统行式数据库和列式数据库的区别: 传统行式数据库:数据是按行存储的。没有索引的查询使用大量IO。建立索引和物化视图需要花费大量时间和资源。面对...

2013-12-03 14:16:27

阅读数:544

评论数:0

HBase Java API详解

增加一个 64M 的文件,直到总文件数超过由 “hbase.hstore.compactionThreshold” 指定的数量时(默认为 3 ), compaction 过程就将被触发了。在上述值为 3 时,此时该 region 目录下,实际文件数只有 两个,还有额外的一个正处于内存中将要被刷入到...

2013-12-03 11:32:17

阅读数:611

评论数:0

HBase MapReduce Examples

7.2. HBase MapReduce Examples 7.2.1. HBase MapReduce Read Example The following is an example of using HBase as a MapReduce s...

2013-11-26 17:05:37

阅读数:648

评论数:0

mapreduce调试查询System.out的结果

http://blog.csdn.net/xw13106209/article/details/6897683 目录(?)[-] 前言给出测试程序的代码然后给出用于测试该程序的数据最后给出该程序的输入参数查找Systemout的内容总结 1.前言 ...

2013-11-26 15:09:20

阅读数:686

评论数:0

业务开发测试HBase之旅一:HTable基本概念

引言 团队中使用HBase的项目多了起来,对于业务人员而言,通常并不需要从头搭建、维护一套HBase的集群环境,对于其架构细节也不一定要深刻理解(交由HBase集群维护团队负责),迫切需要的是快速理解基本技术来解决业务问题。最近在XX项目轮岗过程中,尝试着从业务人员视角去看HBase,将一些过程...

2013-11-22 13:02:00

阅读数:1165

评论数:0

业务开发测试HBase之旅二:通过HBase Shell与HBase交互

http://blog.sina.com.cn/s/blog_8c6d7ff60100zbgp.html   引言 HBase提供了Java Api的访问接口,掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要,本文将继续前两篇文章中blog表的示例,介绍常用的Api。 练习前的准备工作...

2013-11-22 12:58:30

阅读数:1058

评论数:0

业务开发测试HBase之旅三:通过Java Api与HBase交互

http://blog.sina.com.cn/s/blog_8c6d7ff60100zbgz.html   引言 HBase提供了Java Api的访问接口,掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要,本文将继续前两篇文章中blog表的示例,介绍常用的Api。 练习前的准备工...

2013-11-22 12:54:08

阅读数:1037

评论数:0

业务开发测试HBase之旅五:HBase MapReduce测试实战

http://www.kuqin.com/database/20111015/312906.html 引言 在上篇文章中介绍了如何利用MapReduce来分析HBase中的数据,并通过代码示例来演示。老实说,当我写完那段代码时我一点信心都没有,我非常想知道这个job能否正常执行,结果是否符合预期...

2013-11-22 12:49:44

阅读数:973

评论数:0

业务开发测试HBase之旅四:HBase MapReduce实例分析

http://www.kuqin.com/database/20111015/312905.html   引言 跟Hadoop的无缝集成使得使用MapReduce对HBase的数据进行分布式计算非常方便,本文将以前面的blog示例,介绍HBase下MapReduce开发要点。很好理解本文前提是你...

2013-11-22 12:18:40

阅读数:848

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭