![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hbase
# Hbase
学要无止尽
任职于达摩院自动驾驶实验室;负责自动驾驶云端计算的架构和研发;
展开
-
HBase中为什么要有Column Family
在HBase中,数据是按Column Family来分割的,同一个Column Family下的所有列的数据放在一个文件(为简化下面的描述在此使用文件这个词,在HBase内部使用的是Store)中。为什么要这样子做呢? HBase本身的设计目标是支持稀疏表,而稀疏表通常会有很多列,但是每一行有值的列又比较少。如果不使用Column Family的概念,那么有两种设计原创 2013-02-21 17:57:11 · 6382 阅读 · 0 评论 -
HBase数据的导入导出
在hadoop-0.20.2/conf/hadoop-env.sh 中添加12export HBASE_HOME=/home/miao/hbase/export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.90.0.jar:$HBASE_HOME:$HBASE_HOME/lib/zookeeper-3.3.2.j转载 2014-06-16 16:25:43 · 6897 阅读 · 0 评论 -
Hadoop Hive与Hbase整合
Hadoop Hive与Hbase整合 一 、简介Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。Hiv转载 2013-09-17 11:39:02 · 1074 阅读 · 0 评论 -
Hbase Scan 用法
如题:public static void main(String[] args) throws IOException { //Scan类常用方法说明 //指定需要的family或column ,如果没有调用任何addFamily或Column,会返回所有的columns; // scan.addFamily();转载 2013-09-13 10:40:04 · 2948 阅读 · 0 评论 -
hbase权威指南阅读随手笔记二之过滤器
base过滤器的比较操作符:LESS LESS_OR_EQUAL EQUAL =NOT_EQUAL GREATER_OR_EQUAL >=GREATER >NO_OP no operation比较器:BinaryComparator 按字节索引顺序比较指定字节数组,采用Bytes.compareTo(byte[])转载 2013-09-13 11:17:09 · 1552 阅读 · 0 评论 -
华为Hbase二级索引(Secondary Index)细节分析
华为在HBTC 2012上由其高级技术经理Anoop Sam John透露了其二级索引方案,这在业界引起极大的反响,甚至有人认为,如果华为早点公布这个方案,hbase的某些问题早就解决了。其核心思想是保证索引表和主表在同一个region server上。更新:目前该方案华为已经开源,详见:https://github.com/Huawei-Hadoop/hindex下面来对其方案做转载 2013-09-10 13:31:43 · 1778 阅读 · 0 评论 -
hbase介绍
hbase 介绍一、简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable H转载 2013-06-05 18:06:58 · 604 阅读 · 0 评论 -
从存储角度分析hbase
最近在做项目,数据量太大,批量插入的时候,数据库速度相当来说比较慢(单台机器每秒8500行),需要找寻其他存储,结合稳定性以及公司在各种存储积累的经验来看,还是hbase比较靠谱。从存储角度研究了一下,写出这篇blog,权当总结。对于一个存储,如果不需要其计算的话(当然,完全不进行任何计算的存储,其实是有问题的,因为这样一来会浪费存储服务器的cpu,二来如果不进行计算,一个sum求值,会导转载 2013-06-05 18:04:07 · 1102 阅读 · 0 评论 -
【hbase】bulkload数据到hbase表中
一、概述HBase有很多种方法将数据加载到表中,最简单直接的方法就是通过MapReduce调用TableOutputFormat方法,或者在client上调用API写入数据。但是,这都不是最有效的方式。这篇文档将向你描述如何在HBase中加载大数据。采用MapReduce作业,将数据以HBase内部的组织格式输出成文件,然后将数据文件加载到已运行的集群中。(注:就是生成HFile,然后转载 2013-04-11 15:47:37 · 1046 阅读 · 0 评论 -
Hbase shell
HBASE SHELL简介作为入门简要介绍下HBASE SHELL命令,通过这些命令大概可以知道HBASE的存储结构和如何操作HBASE的表。本篇先介绍DDL和DML的简单命令的使用案例,相关的原理和底层逻辑不再介绍之列。TOOLS、REPLICATION和GENERAL信息待对HBASE的架构有深入了解后再整理汇总。HBASE SHELL汇总:DDLalter, crea原创 2013-03-15 10:29:16 · 2657 阅读 · 0 评论 -
HBase使用例子
通过编码(java)的形式对HBase进行一系列的管理涉及到对表的管理、数据的操作等。1、 对表的创建、删除、显示以及修改等,可以用HBaseAdmin, 一旦创建了表,那么可以通过HTable的 实例来访问表,每次可以往表里增加数据。2、 插入数据创建一个Put对 象,在这个Put对象里可以指定要给哪个列增加数据,以及当前的时间戳等值,然后通过调用HTable.put(Put)来 提原创 2013-03-15 10:22:58 · 2352 阅读 · 1 评论 -
HBase Region分裂
HBase region的分裂过程如图所示,其中红色代表RegionServer和或Master的行为,绿色的代表Clients的行为。1、RegionServer决定本地的region分裂,并准备分裂工作。第一步是,在zookeeper的/hbase/region-in-reansition/region-name下创建一个znode,并设为SPLITTING状态。2转载 2014-12-18 14:13:16 · 1623 阅读 · 0 评论