hbase
文章平均质量分 93
mtj66
这个作者很懒,什么都没留下…
展开
-
hbase shell 命令
进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hbase(main)> whoami 表的管理 1)查看有哪些表 hbase(main)> list 2)创转载 2016-09-01 17:13:52 · 524 阅读 · 0 评论 -
Hbase集群迁移
Hbase集群迁移源集群A目标集群B启动迁移任务的集群C,如果A或B集群的磁盘够大,也可以选择其中任意一个集群,用来启动迁移任务。数据流向:A->C->B分别消耗A集群的出口流量,C集群的出入流量,B集群的入口流量。由于pipeline的写入模式,流量还会在B集群内部再放大。一、准备源集群A和目标集群B由于网络的特殊性,需要在源集群A准备配置文件~/hado原创 2017-11-26 21:08:59 · 457 阅读 · 0 评论 -
Building online HBase cluster of Zhihu based on Kubernetes
Building online HBase cluster of Zhihu based on Kubernetes 采用 Kubernetes 进行hbase部署,扩展性大大增强。https://www.slideshare.net/HBaseCon?utm_campaign=profiletracking&utm_medium=sssite&utm_source=ssslideview同样对s原创 2017-12-14 15:33:20 · 588 阅读 · 0 评论 -
Hbase 热点问题3种解决方案
Hbase 热点问题3种解决方案对hbase进行观察总是有个别的regionserver的request个数远大于其他的region server的请求数量,考虑到数据应该由倾斜,查找了一些方案,无非就是row key 进行hash 。但是仍然有数据是倾斜的,考虑了一下,想了其他的方案,结合region的 balance on table level,split hot region and mov原创 2017-12-04 13:33:53 · 3072 阅读 · 1 评论 -
Tuning Java Garbage Collection for HBase
This guest post from Intel Java performance architect Eric Kaczmarek (originally published here) explores how to tune Java garbage collection (GC) for Apache HBase focusing on 100% YCSB reads.Ap转载 2017-12-06 18:24:39 · 539 阅读 · 0 评论 -
hbase filter 自定义Comparator
在此先道歉,先前值做了标题,没来得及贴干货在博客,对不住那些提前进来的人,发现访问量较多立马更新博客,在此奉上。这个自定义的Comparator也是看了好多资料,此处是基于cdh-hbase1.2.0 分享自定义hbase filter全过程(此处的Comparator是针对SingleColumnFilter进行测试的,其他的过滤器并没具体测试)。1.制作 CustomComparatorProt原创 2016-09-18 15:12:40 · 6757 阅读 · 3 评论 -
hbase 性能测试
n_splits = 40 create ‘usertable’,’family’,{SPLITS => (1..n_splits).map {|i| “user#{1000+i*(9999-1000)/n_splits}”}}create ‘usertable_snappy’,’family’,{SPLITS => (1..n_splits).map {|i| “user#{1000+i*(99原创 2017-12-19 09:59:21 · 711 阅读 · 0 评论 -
如何优雅的反射得到Bean,无视属性类型
从hbase中得到了scan结果如果不用spring hbase 模块如何自己实现解析。 这个是在使用hbase中的一个难题。下面就用 hbase中的结果作为实例,展示一下。如果有更好的方法,请回复哦,相互学习。 该解析工具类经过几次抽象迭代,得到的结果,通用性很高,特来分享下。 在github 中也有完整的使用,请查收,欢迎follow。原创 2017-12-27 17:14:05 · 533 阅读 · 0 评论 -
HBase G1 GC 调优,GC时间缩短为原来的20%左右。
对hbase调优,是很必要的,明显提升响应性能。下面晒下GC调优的成果,是原来CMS GC峰值的10%,历史均值的20%左右 ,调优后GC稳定在200ms左右。之前是CMS GC不过忘了记录原始的GC配置了。 Parallel GC : Throughput friendly 目前处于维护模式,赶紧放弃吧 CMS GC: low latency for heap < 32...原创 2017-12-19 15:22:00 · 13310 阅读 · 0 评论 -
hbase 热修改存储压缩格式
在线的一些表,如果越来越大的话,考虑开启压缩格式,下午4点23:26.485分 INFO HMaster Client=hdfs//172.16.4.80 modify {NAME => ‘f1’, BLOOMFILTER => ‘ROW’, VERSIONS => ‘1’, IN_MEMORY => ‘false’, KEEP_DELETED_CELLS ...原创 2018-02-23 17:32:37 · 593 阅读 · 0 评论 -
Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not se
Exception in thread &quot;main&quot; org.apache.hadoop.mapred.InvalidJobConfException: Output directory not se当从SparkSql得到的dataFrame,映射成RDD之后向hbase中直接保存数据的时候报错:Exception in thread "main" org.a...原创 2018-06-04 14:47:32 · 5234 阅读 · 1 评论 -
hbase Master is initializing
重装hbase后导致出险问题:hbase(main):007:0> create 'test_t2','f1' ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMast...原创 2019-05-05 20:04:08 · 895 阅读 · 3 评论 -
hbase bucket size 太小导致启动失败
Region server exitingjava.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRegionServer at org.apache.hadoop.hbase.regionserver.HRegionS...原创 2019-05-24 14:25:11 · 1063 阅读 · 0 评论 -
How to Tune Your HBase Cluster 怎样对hbase进行内存调优
from: https://blogs.apache.org/hbase/entry/tuning_g1gc_for_your_hbaseTuning G1GC For Your HBase ClusterGraham Baecher is a Senior Software Engineer on HubSpot's infrastructure team and E转载 2017-12-14 11:03:24 · 1207 阅读 · 0 评论 -
Hbase Region Load Balance on Table Level
说明hbase 提供region balance,但是针对所有表进行region的重分配,但是不能达到表级别的region平均分配到各个regionServer上。下面代码实现了表级别的region分配逻辑,在此给大家分享下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;原创 2017-12-01 12:24:41 · 1854 阅读 · 0 评论 -
批量Load到HBase
hbase提供了写的操作,通常,我们可以采用HBase的Shell 客户端或者Java API进行操作。如果数据量大的话,这两种操作是很费时的。其实如果了解了HBase的数据底层存储的细节的话,HBase的数据存储格式是HFile定义的格式。批量导入HBase主要分两步:通过mapreduce在输出目录OutputDir下生成一系列按Store存储结构一样的,存储HFile转载 2016-10-06 11:39:03 · 650 阅读 · 0 评论 -
hbase的 export以及import工具使用示例 + 时间区间+ key前缀
1.hbase中的数据hbase(main):025:0> scan 'users'ROW COLUMN+CELL TheRealMT ...原创 2016-10-06 10:37:26 · 15111 阅读 · 5 评论 -
HBase常用操作
HBase常用操作之namespace 标签: hbasenamespace 2015-06-12 14:04 7557人阅读 评论(0) 收藏 举报 分类: hbase(7) 版权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[+] 1、介绍 在HBase中,namespace命名空间指对一组表的逻辑分组,类似RDBMS中的database,方便对表在业务上划分。Ap转载 2016-08-24 15:47:47 · 566 阅读 · 0 评论 -
HBase 权限控制
HBase的权限管理依赖协协处理器。所以我们需要配置hbase.security.authorization=true,以及hbase.coprocessor.master.classes和hbase.coprocessor.master.classes使其包含org.apache.hadoop.hbase.security. access.AccessController来提供安全管控能力。原创 2016-10-06 23:25:24 · 6994 阅读 · 0 评论 -
HBase 系统架构
HBase 系统架构HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的,分布式的,多版本的,面向列的存储模型。它存储的是松散型数据。HBase特性:1 高可靠性2 高效性3 面向列4 可伸缩5 可在廉价PC Server搭建大规模结构化存储集群HBas转载 2016-12-04 20:21:15 · 383 阅读 · 0 评论 -
Hbase总结 Hhase性能调优
因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonSe转载 2017-01-05 17:24:19 · 518 阅读 · 0 评论 -
Hbase WAL 机制记录
Write-Ahead-Log(WAL)该机制用于数据的容错和恢复:每个HRegionServer中都有一个HLog对象,HLog是一个实现Write Ahead Log的类,在每次用户操作写入MemStore的同时,也会写一份数据到HLog文件中(HLog文件格式见后续),HLog文件定期会滚动出新的,并删除旧的文件(已持久化到StoreFile中的数据)。当HRegionS原创 2017-05-22 15:44:44 · 904 阅读 · 0 评论 -
通过MapReduce程序导出Hbase到Hadoop
import java.io.IOException; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.Cell; import org.apa转载 2017-06-15 16:34:56 · 409 阅读 · 0 评论 -
如何解决分布式系统数据事务一致性问题
如何解决分布式系统数据事务一致性问题(HBase加Solr)摘要:对于所有的分布式系统,我想事务一致性问题是极其非常重要的问题,因为它直接影响到系统的可用性。本文以下所述所要解决的问题是:对于入HBase和Solr的过程,如何保证HBase中写入的数据与Solr中写入的数据完全一致。关键词:HBase, Solr, 分布式, 事务, 系统架构, 大数据作者:王安琪(博客:http:转载 2017-06-15 17:43:51 · 901 阅读 · 0 评论 -
hbase 集群迁移:Region still in transition, waiting for it to become assigned:
1. 在数据源集群执行 : hadoop distcp /hbase/data/* hdfs://172.16.4.81/hbase/data/2. 在目标集群执行 :修改目标文件chown hdfs dfs -chown -R /hbase/data3. 之后执行 hbase hbck -repairhbase hbck -fixAssig原创 2017-08-10 11:04:38 · 3376 阅读 · 0 评论 -
Hbase 大表快速count
第一种比较简单,但是只适合小表进行count1.count命令最直接的方式是在hbase shell中执行count的命令可以统计行数。[html] view plain copyhbase> count ‘t1′ hbase> count ‘t1′, INTERVAL => 100000 hb原创 2017-08-14 16:56:40 · 22481 阅读 · 0 评论 -
hbase表迁移问题汇总
1.首先 在数据源集群进行 hadoop distcp /src/dir hdfs://mastrnode/tmp/namespace1 登陆目标集群,将/tmp/namespace1 copy to /hbase/data/ 2. 登陆到目标集群,切换到hbase用户问题sudo su - hbase无法成功切换到hbase用户more /etc/passwd |原创 2017-09-19 10:20:45 · 2110 阅读 · 0 评论 -
hbase region 下线,region server也全部下线,hmaster 依然正常.
Call exception, tries=11, retries=31, started=48384 ms ago, cancelled=false, msg=Call to hzd-t-vbdl-01/10.253.76.213:16020 failed on connection exception: org.apache.hbase.thirdparty.io.netty.channel....原创 2019-05-29 11:34:06 · 2298 阅读 · 0 评论