hbase
warm_days
这个作者很懒,什么都没留下…
展开
-
Hbase之分页实现
通过使用PageFilter实现分页public class PageFilterText { public static void main(String[] args) throws IOException { Configuration conf = HBaseConfiguration.create(); // 只要设置hbase所用的zookeeper集群的地址,客户原创 2017-06-28 16:25:35 · 807 阅读 · 0 评论 -
hbase官方文档学习
1.安装hbase时,应该保证每个节点上的NTP(网络时间协议)同步 2.版本升级时,不能跨版本升级。比如:你从0.96升级到1.0时,你得先从0.96升级到0.98。注意升级时应该先升级服务端 3.hbase同时打开的文件数,线程数跟你的Linux系统有关,可以修改linux配置文件来修改这些参数 4.hbase 回滚(有多种回滚): 1)所有服务回滚步骤: &Stop HBase原创 2018-01-29 11:01:20 · 316 阅读 · 0 评论 -
hbase优化GC
修改 hbase-env.sh文件 对其中的堆大小进行设置: export HBASE_OPTS=”-Xms268435456 -Xmx268435456 -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:+CMSIncrementalMode -Djava.net.pr原创 2018-01-03 11:32:28 · 350 阅读 · 0 评论 -
HBase读延迟的12种优化套
HBase读延迟的12种优化套 - Charlist00 - 博客园 Charlist 非学无以广才,非志无以成学。随笔 - 69, 文章 - 1, 评论 - 0, 引用 - 0 HBase读延迟的12种优化套 任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBas转载 2017-11-27 14:12:05 · 347 阅读 · 0 评论 -
Hbase BlockCache
HBase上Regionserver的内存分为两个部分,一部分作为Memstore,主要用来写;另外一部分作为BlockCache,主要用于读。 •写请求会先写入Memstore,Regionserver会给每个region提供一个Memstore,当Memstore满64MB以后,会启动 flush刷新到磁盘。当Memstore的总大小超过限制时(heapsize * hbase.regio转载 2017-12-03 11:32:03 · 250 阅读 · 0 评论 -
hbase性能调优
1.1 提前创建多个Region 默认情况下,在创建HBase表的时候会自动创建一个Region分区,当导入数据的时候,所有的HBase客户端都向这一个Region写数据,直到这个Region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的Regions,这样当数据写入HBase时,会按照Region分区情况,在集群内做数据的负载均衡。1.2 Row Key设计 HBas转载 2017-08-09 10:39:56 · 368 阅读 · 0 评论 -
hbase读写流程
Hbase0.96之后取消了root表 首先来看一下hbase的写入数据: 1.当我们对表t1执行put操作时,首先访问zk集群,找到meta表所在位置 2.查询meta表,找到t1表所在region和regionserver,然后缓冲这些信息 3.向WAL(预写日志)中写入数据,只要当WAL写入成功,才会向memstore(内存)写入数据,当数据量超过内存时,会执行flush操作,产生Hf原创 2017-07-17 17:55:43 · 833 阅读 · 0 评论 -
ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用
ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用 - 文章 - 伯乐在线/* # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The numb转载 2017-07-13 10:23:25 · 889 阅读 · 0 评论 -
Hbase 查询过程详解(基于hbase0.98版本后分析的)
Hbase 查询过程详解(基于hbase0.98版本后分析的) 1、查询第一步是根据rowkey获取所在region信息 hbase0.96版本后删除了root 表,因为觉的目的是根据rroot表获取meta地址,过程是通过zookeeper获取root表地址,在根据root表记录meta表地址进行访问,还不如和zookeeper通讯一次。新增了namespace,详细见p转载 2017-07-13 09:59:20 · 666 阅读 · 0 评论 -
HBase数据快速导入之ImportTsv&Bulkload
HBase数据快速导入之ImportTsv&Bulkload 导入数据最快的方式,可以略过WAL直接生产底层HFile文件 (环境:centos6.5、Hadoop2.6.0、HBase0.98.9) 1.SHELL方式 1.1 ImportTsv直接导入 命令:bin/hbase org.apache.hadoop.hb转载 2017-07-12 11:40:17 · 604 阅读 · 0 评论 -
hbase 通过rowkey读取数据
public class Texta { public static void main(String[] args) { //假设rowkey由3个字段组成(字段类型为Long) byte[] bs = Bytes.add(Bytes.toBytes(1L), Bytes.toBytes(12L),Bytes.toBytes(11L));原创 2018-01-29 14:55:40 · 1984 阅读 · 2 评论