HBase
文章平均质量分 85
iteye_8075
这个作者很懒,什么都没留下…
展开
-
HBase 第一篇
Welcome to Apache HBase! HBase is the Hadoop database. Think of it as a distributed scalable Big Data store. hadoop 的database, 类似与google的Big Table When Would I Use HBase? Use HBase when ...原创 2011-12-18 15:45:54 · 122 阅读 · 0 评论 -
MapReduce 动态设置 namenode HDFS 的URI
开发MapReduce程序 一直都是在namenode 那台pc上用eclipse 直接运行,没有任何问题 今天在一台namenode上用eclipse 编译一M/R小程序,结果死活 都是 Exception in thread "main" org.apache.hadoop.ipc.RemoteException: java.io.IOException: Unknow...原创 2011-12-28 16:25:49 · 264 阅读 · 0 评论 -
hbase java编程实例
HBase提供了java api来对HBase进行一系列的管理涉及到对表的管理、数据的操作等。常用的API操作有: 1、 对表的创建、删除、显示以及修改等,可以用HBaseAdmin,一旦创建了表,那么可以通过HTable的实例来访问表,每次可以往表里增加数据。 2、 插入数据 创建一个Put对象,在这个Put对象里可以指定要给哪个列增加数据,以及当前的时间戳等值,...原创 2011-12-23 09:34:56 · 599 阅读 · 0 评论 -
分布式数据库 HBase
觉的这篇文章介绍的比较详细,copy一下。作为记录。 http://www.open-open.com/lib/view/open1322721298671.html原创 2011-12-21 16:28:04 · 69 阅读 · 0 评论 -
什么是面向列开源分布式数据库Hbase
HBase是一个分布式的、面向列的开源数据库,由Apache基金会开发。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。它基于列的而不是基于行的模式。用户存储数据行在一个表里。一个数据行拥有一个可选择的键和任意数量的列。用户可根据键访问行,以及对于一系列的行进行扫描和过滤。HBase一个可以横向扩张的表存储系统,能够为大规模数据提供速度极快的低等级更新。主...原创 2011-12-21 16:22:30 · 770 阅读 · 0 评论 -
HBase关键算法 / 流程
关键算法 / 流程 region定位 系统如何找到某个row key (或者某个 row key range)所在的region bigtable 使用三层类似B+树的结构来保存region位置。 第一层是保存zookeeper里面的文件,它持有root region的位置。 第二层root region是.META.表的第一个region其中保存了.META.z表其它region...原创 2011-12-19 10:45:12 · 128 阅读 · 0 评论 -
HBase系统架构
Client 1 包含访问hbase的接口,client维护着一些cache来加快对hbase的访问,比如regione的位置信息。 Zookeeper 1 保证任何时候,集群中只有一个master 2 存贮所有Region的寻址入口。 3 实时监控Region Server的状态,将Region server的上线和下线信息实时通知给Master 4 存储Hb...原创 2011-12-19 10:44:40 · 72 阅读 · 0 评论 -
Hfile存储结构
转自淘宝数据平台 HBase中的所有数据文件都存储在Hadoop HDFS文件系统上,主要包括两种文件类型: 1. HFile, HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装,即StoreFile底层就是HFile 2. HLog File,HBase中WAL(Write Ahead ...原创 2011-12-19 10:44:06 · 495 阅读 · 0 评论 -
HBASE物理存储
1 已经提到过,Table中的所有行都按照row key的字典序排列。 2 Table 在行的方向上分割为多个Hregion。 3 region按大小分割的,每个表一开始只有一个region,随着数据不断插入表,region不断增大,当增大到一个阀值的时候,Hregion就会等分会两个新的Hregion。当table中的行不断增多,就会有越来越多的Hregion。 4 Hreg...原创 2011-12-19 10:43:07 · 273 阅读 · 0 评论 -
Hbase表的结构
逻辑视图 HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(row family) Row Key column-family1 column-family2 column-family3 column1 column1 column1 column2 column3 column1 key1 t1:abct2:gdxdf ...原创 2011-12-19 10:42:28 · 105 阅读 · 0 评论 -
Hbase分析报告
Hbase分析报告 本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写 Hbase是一个分散式开源资料库,基于Hadoop分散式文件系统,模仿并提供了基于Google文件系统的Bigtable资料库的所有功能。 Hbaes的目标是处理非常庞大的表,可以用普通的电脑处理超过10亿行资料,并且有数百万列元素组成的资料表...原创 2012-01-01 13:55:16 · 170 阅读 · 0 评论