hbase
文章平均质量分 78
徐雄辉
这个作者很懒,什么都没留下…
展开
-
一文揭秘HBase 上的 SQL 引擎,Kylin 和 Phoenix 有什么不同
1.1 Apache Kylin 介绍Kylin 是一个分布式的大数据分析引擎,提供在 Hadoop 之上的 SQL 接口和多维分析能力(OLAP),可以做到在 TB 级的数据量上实现亚秒级的查询响应。 ...原创 2019-11-21 11:36:54 · 395 阅读 · 0 评论 -
记录一次HBase2.x之RIT问题解决方案
1 问题描述Region-In-Trasition机制从字面意思来看,Region-In-Transition说的是Region变迁机制,实际上是指在一次特定操作行为中Region状态的变迁,例如merge、split、assign、unssign等操作。RIT问题指的是在RIT过程中出现了异常情况,然后导致region的状态一直保持在RIT,使得HBase出现异常。2 ...原创 2019-11-18 20:33:30 · 1729 阅读 · 0 评论 -
Hbase常用可靠的数据迁移方案
常用的HBASE数据迁移目前的方案有非常多种,本文主要介绍两种一种为Hadoop手动数据迁移,另一种为Snapshot数据迁移原理不多介绍,直接实战一、Hadoop层手动数据迁移需要注意:1.Hadoop/hbase版本也要注意是否一致,如果版本不一致,最终load表时会报错2.迁移实时写的表,最好是停止集群对表的写入,在以下方式需要迁移的表为Test步骤说明:将需要迁移的...原创 2019-11-14 20:33:42 · 720 阅读 · 0 评论 -
HBase的几种调优(GC策略,flush,compact,split)
一:GC的调优1.jvm的内存 新生代:存活时间较短,一般存储刚生成的一些对象 老年代:存活时间较长,主要存储在应用程序中生命周期较长的对象 永久代:一般存储meta和class的信息 2.GC策略 Parrallel New Collector,垃圾回收策略 并行标记回收器(Concurrent Mark-Sweep Collector) 3.Par...转载 2018-07-24 16:06:12 · 942 阅读 · 0 评论 -
hbase 参数说明
一、服务端调优 1、参数配置 1)、hbase.regionserver.handler.count:该设置决定了处理RPC的线程数量,默认值是10,通常可以调大,比如:150,当请求内容很大(上MB,比如大的put、使用缓存的scans)的时候,如果该值设置过大则会占用过多的内存,导致频繁的GC,或者出现OutOfMemory,因此该值不是越大越好。 2)、hbase.h...转载 2018-07-24 16:15:30 · 1092 阅读 · 0 评论 -
hbase自带性能测试
1) 顺序写:sequentialWrite例如,预分区100 regions,100线程并发,顺序写1亿条数据:hbase org.apache.hadoop.hbase.PerformanceEvaluation--nomapred --rows=1000000 --presplit=100 sequentialWrite 100注意事项:a. hbase PE默认使用mapred...转载 2018-07-24 16:53:30 · 4094 阅读 · 3 评论 -
hbase默认配置
hbase.rootdir:这个目录是region server的共享目录,用来持久化Hbase。URL需要是'完全正确'的,还要包含文件系统的scheme。例如,要表示hdfs中的 '/hbase'目录,namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000 /hbase。默认情况下Hbas...转载 2018-08-03 09:42:12 · 5302 阅读 · 0 评论 -
hbase数据迁移
一、前言HBase数据迁移是很常见的操作,目前业界主要的迁移方式主要分为以下几类: 图1.HBase数据迁移方案 从上面图中可看出,目前的方案主要有四类,Hadoop层有一类,HBase层有三类。下面分别介绍一下。二、Hadoop层数据迁移2.1 方案介绍Hadoop层的数据迁移主要用到DistCp(Distributed Copy), 官方描述是:DistCp...转载 2018-09-17 13:55:22 · 281 阅读 · 0 评论