HBase-客户端-重试机制

背景 HBase是一个分布式数据库 当遇到宕机,客户端如何识别数据的迁移? 当遇到数据region 分裂,如何识别到最新的数据region 当遇到网络抖动等导致请求失败,客户端如何处理失败的请求? 入手 首先,我们知道hbase客户端有重试次数参数设置 hbase.client...

2019-05-10 18:54:06

阅读数 48

评论数 0

HBase-客户端-超时机制设置

背景 当用户有一些大请求的时候,会报超时,但是用户觉得请求慢一些也能接受,如何设置? 如果用户觉得HBase默认超时时间太长,希望请求超过一定毫秒数就报超时退出来,而不是一直在等待,如何设置? 入手 从网上搜索可以看到很多有关hbase客户端超时设置的参数说明 不过并不...

2019-05-10 18:53:06

阅读数 77

评论数 0

HBase-代码分析-客户端-读链路

HTable.get方法-->Callable->get中实现的具体call方法 ==> ProtobufUtil.get(getStub(), getLocation().getRegionInfo().getRegionName(), get...

2019-05-10 18:49:40

阅读数 44

评论数 0

HBase在特征工程中的应用

目录 前言 应用场景介绍 Get 进阶-前缀匹配扫描-Scan 灵活的动态列 多版本 快照 总结 前言 HBase是一款分布式的NoSQL DB,可以轻松扩展存储和读写能力。 主要特性有: 按某精确的key获取对应的value(Get) 通过前缀匹配一段相邻的数据(S...

2019-04-16 13:31:16

阅读数 884

评论数 1

如何参与HBase社区建设-01-Code Style

背景 不同开发者的代码习惯、IDE不同,社区需要统一代码格式,方便其他开发者阅读代码 以下内容从官网查找到的,不保证及时更新,对社区的贡献工作需要大家自驱,任何疑问,先多看官网给出的经验和说明 不按照格式开发的话,社区的Hadoop QA自动跑得测试是通不过的:) 1.加载hbase官方的...

2019-03-20 15:40:51

阅读数 32

评论数 0

如何参与HBase社区建设-00-流程-社区建议-与个人思考

为团队同学培训准备的一点内容: 官网答案: http://hbase.apache.org/book.html#submitting.patches.create 流程: 1.下载代码 主要还是看官网 http://hbase.apache.org/book.html#_confi...

2019-03-20 15:37:23

阅读数 40

评论数 0

HBase稳定性建设

本文总结了过去一段时间我们对HBase稳定性的建设工作,想要对服务进行全方位的了解,保证稳定性,对服务性能进行优化,势必要对服务中每个环节都了如指掌。并且当请求量大影响服务稳定的时候,对请求量能够进行控制。同时,稳定性建设的成果,如监控可视化、集群性能数据分析等,也大大提升了我们对业务优化,协助业...

2019-03-20 14:36:39

阅读数 44

评论数 0

白话HBase-RegionServer如何判断Region本地化百分比的

说明 本地化百分比=这个region在当前这个机器的block逻辑数据大小/region下文件block的总逻辑大小   入手 已知HRegionServer中心跳汇报给HMaster的信息中,有数据本地化百分比的指标RegionLoad中,我们需要看看RegionLoad这个数据是怎么...

2018-12-19 15:55:37

阅读数 184

评论数 0

白话HBase-快照snapshot

背景 快照就是把某个表的某个瞬时的状态像照照片一样固定下来,谓之曰快照 思考 那么既然要保留某个瞬时的数据状态,一直有写入的数据会不会影响快照的结果?会增加存储的数据量吗?快照能用来做什么? 解答 1.逻辑:写入的新数据不会影响快照的结果 2.资源:存储的数据量会有一定增加,但不是做快...

2018-12-18 14:29:16

阅读数 167

评论数 0

白话HBase-02-HMaster

版本:HBase-2.1.1    

2018-11-10 17:09:31

阅读数 81

评论数 0

如何写一个代码分析文档

持续更新 目录 1.给出这段代码的功能描述,让读者知道这篇文章主要介绍哪一部分 2.这段代码入口方法,以及如何找到入口类、方法 3.给出结论的代码调用图 4.具体代码说明 5.总结   1.给出这段代码的功能描述,让读者知道这篇文章主要介绍哪一部分 2.这段代码入口方法,以及如何...

2018-11-08 01:16:23

阅读数 729

评论数 0

如何从0开始了解一个数据引擎

根据本人浅薄的经验,了解一个数据引擎可能涉及以下问题: 目录 1. 概念 2. 架构 3. 部署 4. 元数据 5. 写数据链路 6. 查询链路 阶段总结 一些经常被关心的功能和特点 7. 旧数据清理 8. 数据的hash 9. 离线文件导入导出 10. 故障恢复时间 ...

2018-11-08 00:16:03

阅读数 163

评论数 1

写技术文档需要注意什么

技术文档总是令人头大, 一是文档内容可能不够全面,可读性差,可操作性差 二是不知该从何写起,在此简单总结一下之前的内容和思路:   目录 一.操作类、代码demo文档 二.技术介绍类文档 一.操作类、代码demo文档 此文档用于解决:xxxx 给出具体登录哪个机器/哪...

2018-11-07 18:13:18

阅读数 454

评论数 0

白话HBase-客户端缓存 region位置信息

    背景 第一次请求某个表的时候,table.get  table.scan 等api通常都比较慢,但是第一次慢了之后,后面有很快,是什么原因导致的呢? 我们直接从源码来看看   一般用户使用方法 HTableInterface table=connection.getTable...

2018-11-05 19:47:44

阅读数 187

评论数 0

白话HBase-5分钟了解HBase架构

这里写自定义目录标题欢迎使用Markdown编辑器1.分布式的2.增加管理者HMaster3.管理者的高可用HMaster4.底层存储5.客户端请求 欢迎使用Markdown编辑器 1.分布式的 HBase是一个分布式存储引擎:那么它是由很多Server组成的,RegionServer可以达到几千...

2018-10-29 19:49:46

阅读数 291

评论数 1

HBase 主主replication

本文只做原理描述,未经过线上业务长时间验证 写操作: HBase双活策略,写操作实现有两种方式: 1.用户业务端双写,同一份数据写两个集群 优点:不用关心底层异常等问题 缺点:需要启动两个写HBase的任务 2.通过HBase replication机制实现,双向replication...

2018-06-25 18:26:00

阅读数 550

评论数 0

HBase-replication

replication相关znode结构replication相关参数1.replication.source.log.queue.warn ReplicationSource 中待处理的 HLog 数量达 到该参数值时,打印警告,默认值为 22.replication.source.size.c...

2017-09-12 17:32:39

阅读数 283

评论数 0

go-hbase的坑

使用pingcap的go-hbase,往设置ttl的表中写数据,写操作没报异常,但是写完发现get不到对应的数据往另外一个表里,可以写进数据,但是发现timestamp为0所以ttl的表里面get不到写进去的数据原因是go-hbase中的put.go里面ts 直接传了个0HBase的java客户端...

2017-09-06 23:03:58

阅读数 1501

评论数 0

HBase-建表以及表元数据

hbase:metakey: -region columnfamily: -info:regioninfo -info:seqnumDuringOpen -info:server -info:serverstartcodeHConstants.SEQNUM_QUALIFIER=”seq...

2017-09-04 14:53:27

阅读数 1024

评论数 0

HBase-RPC

HBase-RPC

2017-09-01 16:14:10

阅读数 177

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭