mtj66的博客,交流WX:SpringBreeze1104

一个开发的进阶历程

hbase Master is initializing

重装hbase后导致出险问题: hbase(main):007:0> create 'test_t2','f1' ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.ap...

2019-05-05 20:04:08

阅读数 16

评论数 0

Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not se

Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not se当从SparkSql得到的da...

2018-06-04 14:47:32

阅读数 822

评论数 0

hbase 热修改存储压缩格式

在线的一些表,如果越来越大的话,考虑开启压缩格式, 下午4点23:26.485分 INFO HMaster Client=hdfs//172.16.4.80 modify {NAME => ‘f1’, BLOOMFILTER => ‘ROW...

2018-02-23 17:32:37

阅读数 159

评论数 0

如何优雅的反射得到Bean,无视属性类型

从hbase中得到了scan结果如果不用spring hbase 模块如何自己实现解析。 这个是在使用hbase中的一个难题。下面就用 hbase中的结果作为实例,展示一下。如果有更好的方法,请回复哦,相互学习。 该解析工具类经过几次抽象迭代,得到的结果,通用性很高,特来分享下。 在gith...

2017-12-27 17:14:05

阅读数 159

评论数 0

HBase G1 GC 调优,GC时间缩短为原来的20%左右。

对hbase调优,是很必要的,明显提升响应性能。下面晒下GC调优的成果,是原来CMS GC峰值的10%,历史均值的20%左右 ,调优后GC稳定在200ms左右。 之前是CMS GC不过忘了记录原始的GC配置了。 Parallel GC : Throughput friendly 目前处于维护...

2017-12-19 15:22:00

阅读数 3867

评论数 0

hbase 性能测试

n_splits = 40 create ‘usertable’,’family’,{SPLITS => (1..n_splits).map {|i| “user#{1000+i*(9999-1000)/n_splits}”}}create ‘usertable_snappy’,’fami...

2017-12-19 09:59:21

阅读数 318

评论数 0

Building online HBase cluster of Zhihu based on Kubernetes

Building online HBase cluster of Zhihu based on Kubernetes 采用 Kubernetes 进行hbase部署,扩展性大大增强。https://www.slideshare.net/HBaseCon?utm_campaign=profilet...

2017-12-14 15:33:20

阅读数 254

评论数 0

How to Tune Your HBase Cluster 怎样对hbase进行内存调优

from: https://blogs.apache.org/hbase/entry/tuning_g1gc_for_your_hbase Tuning G1GC For Your HBase Cluster Graham Baecher is a Senior Softw...

2017-12-14 11:03:24

阅读数 329

评论数 0

Tuning Java Garbage Collection for HBase

This guest post from Intel Java performance architect Eric Kaczmarek (originally published here) explores how to tune Java garbage collection (GC) ...

2017-12-06 18:24:39

阅读数 152

评论数 0

Hbase 热点问题3种解决方案

Hbase 热点问题3种解决方案对hbase进行观察总是有个别的regionserver的request个数远大于其他的region server的请求数量,考虑到数据应该由倾斜,查找了一些方案,无非就是row key 进行hash 。但是仍然有数据是倾斜的,考虑了一下,想了其他的方案,结合reg...

2017-12-04 13:33:53

阅读数 1314

评论数 1

Hbase Region Load Balance on Table Level

说明hbase 提供region balance,但是针对所有表进行region的重分配,但是不能达到表级别的region平均分配到各个regionServer上。 下面代码实现了表级别的region分配逻辑,在此给大家分享下。 import org.apache.hadoop.conf.Co...

2017-12-01 12:24:41

阅读数 676

评论数 0

Hbase集群迁移

Hbase集群迁移 源集群A目标集群B启动迁移任务的集群C,如果A或B集群的磁盘够大,也可以选择其中任意一个集群,用来启动迁移任务。数据流向:A->C->B 分别消耗A集群的出口流量,C集群的出入流量,B集群的入口流量。由于pipeline的写入模式,流量还会在B集群内部再放大。 ...

2017-11-26 21:08:59

阅读数 147

评论数 0

hbase表迁移问题汇总

1.首先 在数据源集群进行 hadoop distcp  /src/dir hdfs://mastrnode/tmp/namespace1  登陆目标集群,将/tmp/namespace1 copy to /hbase/data/  2. 登陆到目标集群,切换到hbase用户问题 sudo s...

2017-09-19 10:20:45

阅读数 902

评论数 0

Hbase 大表快速count

第一种比较简单,但是只适合小表进行count 1.count命令 最直接的方式是在hbase shell中执行count的命令可以统计行数。 [html] view plain copy hbase> cou...

2017-08-14 16:56:40

阅读数 12659

评论数 0

hbase 集群迁移:Region still in transition, waiting for it to become assigned:

1. 在数据源集群执行 :  hadoop distcp  /hbase/data/*  hdfs://172.16.4.81/hbase/data/ 2. 在目标集群执行 : 修改目标文件chown  hdfs  dfs -chown -R /hbase/data 3. 之后...

2017-08-10 11:04:38

阅读数 1379

评论数 0

如何解决分布式系统数据事务一致性问题

如何解决分布式系统数据事务一致性问题 (HBase加Solr) 摘要:对于所有的分布式系统,我想事务一致性问题是极其非常重要的问题,因为它直接影响到系统的可用性。本文以下所述所要解决的问题是:对于入HBase和Solr的过程,如何保证HBase中写入的数据与Solr中写入的数据完全一致。 关...

2017-06-15 17:43:51

阅读数 596

评论数 0

通过MapReduce程序导出Hbase到Hadoop

import java.io.IOException;   import java.util.List;      import org.apache.hadoop.conf.Configuration;   import org.apache.hadoop.fs.Path;   imp...

2017-06-15 16:34:56

阅读数 193

评论数 0

Hbase WAL 机制记录

Write-Ahead-Log(WAL) 该机制用于数据的容错和恢复: 每个HRegionServer中都有一个HLog对象,HLog是一个实现Write Ahead Log的类,在每次用户操作写入MemStore的同时,也会写一份数据到HLog文件中(HLog文件格式见后续),H...

2017-05-22 15:44:44

阅读数 569

评论数 0

Hbase总结 Hhase性能调优

因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。 配置优化 zookeeper.session.timeout 默认值:3分钟(180000ms) ...

2017-01-05 17:24:19

阅读数 262

评论数 0

HBase 系统架构

HBase 系统架构 HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的,分布式的,多版本的,面向列的存储模型。它存储的是松散型数据。 HBase特性: 1 高可靠性 2 高...

2016-12-04 20:21:15

阅读数 206

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭