Write-Ahead-Log(WAL)保障数据高可用

1.1 Write-Ahead-Log(WAL)保障数据高可用 该机制用于数据的容错和恢复: 每个HRegionServer中都有一个HLog对象,HLog是一个实现Write Ahead Log的类,在每次用户操作写入MemStore的同时,也会写一份数据到HLog文件中(HLo...

2017-09-03 23:32:43

阅读数 1945

评论数 0

使用filter(过滤器)按照条件查询hbase

1.1. hbase过滤器 1.1.1. FilterList FilterList 代表一个过滤器列表,可以添加多个过滤器进行查询,多个过滤器之间的关系有: 与关系(符合所有):FilterList.Operator.MUST_PASS_ALL   或关系(符合任一):FilterL...

2017-08-30 00:47:35

阅读数 1768

评论数 0

hbase扫描优化-扫描缓存-cacheing-timetout-retries-batch

扫描 ----------------- 不应该全表扫描. 缓存和批处理 ----------------- 扫描器缓存可以在一次RPC中返回多条记录。默认是关闭的。 从两个层面上控制扫描器缓存。 全局配置.(优先级最低) hbase.client.scanner.cach...

2017-08-30 00:38:45

阅读数 426

评论数 0

hbase创建预切割-开启多线程实现大批量插入

创建表同时预切割区域 可以防止数据倾斜 ------------------ $hbase>create 'ns1:t3', 'f1', SPLITS => ['row3000000', 'row600000'] /** * 添加批量数据 */ public void ...

2017-08-30 00:26:46

阅读数 1463

评论数 0

hbase区域的split-merge-move

区域的拆分和合并 ---------------- //区域名 ns1:t2,row597,1503630769769.700f502b0f1dec036f48b95adb4fe63b. //编码区域名,该名称对前边ns1:t2,row597,1503630769769.记性md5哈希...

2017-08-30 00:18:39

阅读数 291

评论数 0

Hbase原理与架构

1.1架构图 1.1.1. 写流程 1、 client向hregionserver发送写请求。 2、 hregionserver将数据写到hlog(write ahead log)。为了数据的持久化和恢复。 3、 hregionserver将数据写到内存(memstore) 4、...

2017-08-30 00:14:52

阅读数 205

评论数 0

hbase简介

1. hbase简介 1.1. 什么是hbase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行...

2017-08-30 00:01:48

阅读数 274

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭