hbase
文章平均质量分 81
z_xiaozhuT
学习是个孤独的过程。
展开
-
HBase的Hmaster、HRegionserver、Region、Hstore、memstore、HFile的关系
先来一张大图。 Hbase上Regionserver的内存分为两个部分,一部分作为Memstore,主要用来写;另外一部分作为BlockCache,主要用于读数据;这里主要介绍写数据的部分,即Memstore。当RegionServer(RS)收到写请求的时候(writerequest),RS会将请求转至相应的Region。每一个Region都存储着一些列(a se转载 2017-05-08 18:21:53 · 3220 阅读 · 0 评论 -
Hbase的region优化
问题描述:线上程序在写Hbase时,hbase有时候会挂掉。问题详细现象:程序写hbase时写压力都集中到某一个region server上。基于以上现象研究了hbase region split机制。在默认情况下hbase会根据自动splitting机制进行region分片。当一个table刚被创建的时候,Hbase默认的分配一个region给table。也就是说这个时候,所有的读写请求转载 2017-06-20 10:12:17 · 522 阅读 · 0 评论 -
Hbase通过BulkLoad的方式快速导入海量数据
摘要加载数据到HBase的方式有多种,通过HBase API导入或命令行导入或使用第三方(如sqoop)来导入或使用MR来批量导入(耗费磁盘I/O,容易在导入的过程使节点宕机),但是这些方式不是慢就是在导入的过程的占用Region资料导致效率低下,今天要讲的就是利用HBase在HDFS存储原理及MapReduce的特性来快速导入海量的数据 HBase数据在HDFS下是如何存转载 2017-06-21 09:38:51 · 3974 阅读 · 1 评论 -
Hbase之Rowkey设计原则
HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有以下几种方式:通过get方式,指定rowkey获取唯一一条记录通过scan方式,设置startRow和stopRow参数进行...转载 2018-03-05 11:44:52 · 450 阅读 · 0 评论 -
Hbase系列之一:Rowkey的设计原则及案例
一、引言HBase由于其存储和读写的高性能,在OLAP即时分析中越来越发挥重要的作用,在易观精细化运营产品--易观方舟也有广泛的应用。作为Nosql数据库的一员,HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录),Rowkey设计的优劣直接影响读写性能。HBase中的数据是按照Rowkey的ASCII字典顺序进行全局排序的,有伙伴可能对ASCII字典序印象不够深刻,...转载 2019-02-22 17:14:34 · 924 阅读 · 0 评论 -
Hbase的原理及架构概括
Hbase概述 hbase是一个构建在HDFS上的分布式列存储系统。HBase是ApacheHadoop生态系统中的重要 一员,主要用于海量结构化数据存储。从逻辑上讲,HBase将数据按照表、行和列进行存储。 如图所示,Hbase构建在HDFS之上,hadoop之下。其内部管理的文件全部存储在HDFS中。与HDFS相比两者都具有良好的容错性...转载 2019-03-29 16:54:33 · 336 阅读 · 0 评论