进一步有一步的欢喜

专注大数据&分布式系统,微博@不睡觉的时候会困。

HBase Replicate中的peer处理

如果用户新加入了一个peerid,那怎么处理,这部分逻辑的入口在ReplicationSourceManager的addSource方法中: addSource接受peerid作为参数,它会新创建一个ReplicationSourceInterface(实际就是ReplicationSource...

2018-10-19 17:12:31

阅读数 159

评论数 0

HBase Replication的源码分析

在HRegionServer中有两个量和replication相关,如下图所示: 在ReplicationSourceService中只有一个方法getWALActionsListener,该方法返回WALActionsListener。ReplicationSinkService同样也是一...

2018-10-19 17:05:29

阅读数 152

评论数 0

openTSDB的安装部署

首先openTSDB以root用户安装,安装前需要确认HBase集群已安装完毕,并且JAVA_HOME也已设置,并且安装gnuplot(yum install gnuplot); 1、从官网上下载相应版本的openTSDB安装文件,并解压该文件,并执行编译: tar -xvf opentsdb...

2018-10-19 16:24:33

阅读数 223

评论数 0

HBase因hostname可能引起的RIT问题

HBase的RegionServer会将自己的hostname上报到zookeeper,客户端连接zookeeper时,获取的是regionserver的hostname,再由hostname获得regionserver的ip地址。基于hbase的这种名称上报机制,客户端连接hbase时,需要能够...

2018-10-19 16:03:40

阅读数 477

评论数 0

HBase限流机制源码分析

master启动的时候会初始化MasterQuotaManager,并启动该manager; MasterQuotaManager实现了RegionStateListener接口,可以监听region的状态变化,RegionStateListener接口中定义了三个事件,分别是onRegionS...

2018-09-09 13:27:33

阅读数 413

评论数 0

HBase高级优化配置

hbase.regionserver.optionalcacheflushinterval 默认是1hour,regionserver每个region上的memstore会每个小时flush一次,这也是flush的触发条件之一,代码在PeriodicMemstoreFlusher中   hb...

2018-08-24 11:47:50

阅读数 315

评论数 0

HBase Replication的源码解析

Replication的类结构:replication的类结构包括了ReplicationSource、ReplicationSourceManager和ReplicationSink、ReplicationSinkManger以及ReplicationEndpoint五部分组成。Replicat...

2018-02-24 22:44:19

阅读数 359

评论数 0

Apache Ranger的安装及其HBase插件的使用

Apache Ranger是HDFS生态系统的安全管理框架,用于对HDFS生态的产品,包括HBase、Hadoop、Hive、Kafka等提供一个集中式的安全管理策略。Apache Ranger在架构组成上包括一个策略管理服务器(Policy Admin Server),该服务将策略存储于外部的关...

2017-09-15 18:40:42

阅读数 1346

评论数 1

HBase PerformanceEvaluation机制分析

本文我们来分析一下hbase自带的测试工具——performanceEvaluation。该工具是hbase自带的性能压测工具,基本原因是是用多线程模拟多用户同时访问集群的情况。 运行hbase org.apache.hadoop.hbase.PerformanceEvaluation,可以看到...

2017-09-09 08:47:51

阅读数 1313

评论数 1

HBase的权限控制

HBase自带的权限管理工具: HBase的权限管理包括两个部分,分别是Authentication&Authorization Authentication:针对某host是否有权成为集群的regionserver或者client端; Authorization:是针对client...

2017-08-27 10:33:45

阅读数 1381

评论数 0

HBase&HDFS异构存储的使用&简单介绍

使用方式: 首先,开启hdfs异构存储策略,配置项是——dfs.storage.policy.enabled,该配置默认是开启的(true); 第二步,需要将机器物理硬件上已经部署好的磁盘配置添加到hdfs的配置项dfs.datanode.data.dir中,需要注意的对于SSD盘或者RAM_...

2017-04-22 12:14:23

阅读数 3846

评论数 0

高可用Hdfs&HBase配置实践

首先介绍版本背景,hdfs为2.7.1,hbase为1.3.0,其它版本的配置可能存在变化。 HDFS相关配置: dfs.datanode.synconclose 设为true,当为false时,系统重启或断电时有可能数据丢失,默认值是false dfs.datanode.sync.behin...

2017-03-28 22:24:46

阅读数 4119

评论数 0

HBase BlockCache机制讲解&源码分析

HBase上RegionServer的cache主要分为两个部分,分别是memstore&blockcache,其中memstore主要用于写缓存,而blockcache用于读缓存。 当数据写入hbase时,会先写入memstore,RegionServer会给每个region提供一个me...

2017-03-18 15:36:36

阅读数 4092

评论数 1

事件驱动的HLog写入模型

WALFactory: 分析HLog的写入首先要从WALFactory开始,WALFactory是一个管理wal的工厂实例,WALFactory中提供了两个接口createReader&createWriter,分别实现了对wal文件的读和写,其实这两个读写接口也是由DefaultWALP...

2017-03-11 17:10:46

阅读数 2270

评论数 0

MySQL使用小坑总结(一)

1、数据库中的字段类型不要使用long型,否则会造成查询缓慢,可以选择BigInt类型来代替。 2、避免select *。 3、如果表结构中字段定义的类型与应用传入的类型不一致,这时候可能会发生隐式转换;两个表join的时候,如果字符集定义不一致,也会导致隐式转换,mysql中定义的隐式转换规则如...

2017-03-02 19:01:26

阅读数 564

评论数 0

HBase源码之Compaction的执行策略分析

HBase的Compaction操作一般都是表粒度的,该操作会将合并HStore下的storefile文件,具体应该合并哪些storefile文件则是由compaction的筛选算法决定的。 基本的调用逻辑是用户的compactRequest一步步向下传递,最终传入HStore中的requestC...

2017-02-26 17:00:06

阅读数 2024

评论数 0

租约机制以及在hbase中的应用

为什么需要Lease 分布式系统中为什么需要租约机制,这是因为在分布式系统,为了保证服务的高可用,需要在服务发生故障的时候及时启动另外一个服务实例以替换故障服务。这样就需要在服务端和客户端或者服务端和控制中心维持一个心跳信息,用于服务进程向控制中心汇报当前自己的健康情况,如果控制中心在一段时间收...

2017-02-18 18:00:11

阅读数 1397

评论数 0

常用Linux运维指令汇总

收集了一下工作中常用的Linux运维指令,列在下面,本文长期更新。 netstat -na | grep 7651 查看本机7651端口在和谁通信 ps aux | grep 7651 查看本机7651进程的相关信息 ps aux --sort -rss 显示各个进程对内存的使用情况,从大到小排序...

2017-01-18 20:10:15

阅读数 389

评论数 0

HBase中MemStore flush的源码解析

flush请求的发出: HRegion会调用requestFlush()触发flush行为,flush发生在每一处region可能发生变化的地方,包括region有新数据写入,客户端调用了put/increment/batchMutate等接口。 hbase.hregion.memstore.bl...

2017-01-09 19:05:57

阅读数 1665

评论数 1

java并发包在hbase&hadoop中的应用

HBase保证了行级事务,也就是说保证行级数据的ACID属性,为了实现上述的事务属性同时保持数据库读写的高性能,HBase采用了各种并发控制策略。本文从常用的Java并发工具入手,并分析它们在hbase中的使用,一者对Java的并发工具包有更深刻的理解,其次对HBase的并发控制机制有更清晰的认识...

2017-01-04 18:56:12

阅读数 518

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭