![](https://img-blog.csdnimg.cn/20200320154142856.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
HBase
文章平均质量分 86
HBase 技术架构,源码分析,周边生态等
大数据技术架构
Focus on Lakehouse
展开
-
HBase实践 | HBase RIT问题排查思路
HBCK - HBCK检查什么?(1) HBase Region一致性集群中所有region都被assign,而且deploy到唯一一台RegionServer上该region的状态在内存...转载 2021-03-13 14:32:15 · 941 阅读 · 0 评论 -
HBase调优 | HBase最佳实践:读性能优化策略
本文转载自网易范欣欣的最佳实践,虽然当时HBase版本还是1.x,但文章虽久犹新,现在仍有普适性,值得好好阅读。任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。...转载 2021-04-15 22:45:28 · 228 阅读 · 0 评论 -
HBase 实践 | 如何破解 HBase+ElasticSearch 组合使用遇到的难题
一.背景介绍HBase与ElasticSearch是现代应用在处理海量数据的技术架构会经常被使用的两款产品,其中HBase是一个分布式KV系统,具有灵活Schema、水平扩展、低成本、高并...转载 2021-05-19 08:58:50 · 1132 阅读 · 0 评论 -
HBase运维 | HBase宕机恢复案例一则
快下班的时候突然收到zk、HBase宕机的告警,瞬间一万匹草泥马奔腾而过,但是问题终究得解决啊,搞起来。下图为master的日志记录:从上图可以看到zk中/Hbase/replicati...转载 2020-06-15 17:08:00 · 741 阅读 · 0 评论 -
HBase比较高阶的调优指南
JVM调优内存调优一般安装好的HBase集群,默认配置是给Master和RegionServer 1G的内存,而Memstore默认占0.4,也就是400MB。显然RegionServe...转载 2020-06-02 08:29:00 · 386 阅读 · 0 评论 -
HBase原理 | HBase Region 运行状态学习
HBase为每个Region维护一个状态,并将该状态保留在hbase:meta中。hbase:meta本身的Region状态保留在ZooKeeper中。可以在Master Web UI中...转载 2020-05-24 13:57:49 · 1468 阅读 · 0 评论 -
HBase原理 | HBase Compaction介绍与参数调优
我们知道,数据达到HBase服务端会写WAL-写Memstore,然后定期或满足一定条件时刷写磁盘生成一个HFile文件,随着时间推移生成的HFile会越来越多,将会影响HBase查询性...原创 2020-05-22 23:02:11 · 683 阅读 · 0 评论 -
HBase实践 | 使用 Docker 快速上手 HBase
前言:本文主要讲述了如何使用Docker快速上手HBase,省去繁杂的安装部署环境,直接上手,小白必备。适合HBase入门学习及简单代码测试。1. Docker 安装参考地址:https...转载 2020-05-21 08:20:00 · 786 阅读 · 0 评论 -
HBase+ElasticSearch二级索引实践总结
前言:还记得那是2018年的一个夏天,天气特别热,我一边擦汗一边听领导大刀阔斧的讲述自己未来的改革蓝图。会议开完了,核心思想就是:我们要搞一个数据大池子,要把公司能灌的数据都灌入这个大池...转载 2020-05-19 08:20:00 · 870 阅读 · 0 评论 -
HBase实践 | HBase IO优化与高可用建设
作者:陈旭往期回顾:HBase实践 | HBase内核优化与吞吐能力建设CAP能力模型在CAP能力模型表现方面,hbase主要是面向CP的应用系统,针对数据写入可以满足强一致性需求,从客...原创 2020-04-29 08:24:27 · 815 阅读 · 0 评论 -
HBase最佳实践 | 合理的Region数量与大小
Region数量通常较少的region数量可使群集运行的更加平稳,官方指出每个RegionServer大约100个regions的时候效果最好,理由如下:HBase的一个特性MSLAB,...转载 2020-04-24 11:00:00 · 2812 阅读 · 0 评论 -
HBase实践 | HBase内核优化与吞吐能力建设
前言公司的hbase集群早先是基于社区1.2.4版本进行搭建的,在时延表现方面起初并不十分理想,受GC尖刺的影响非常严重,针对P99响应时延也只能给业务提供不高于100毫秒的SLA承诺,...原创 2020-04-17 08:02:59 · 1425 阅读 · 0 评论 -
HBase原理 | HBase内存管理之MemStore进化论
Java工程中内存管理总是一个绕不过去的知识模块,无论HBase、Flink还是Spark等,如果使用的JVM堆比较大同时对读写延迟等性能有较高要求,一般都会选择自己管理内存,而且一般都...转载 2020-04-16 08:11:38 · 536 阅读 · 0 评论 -
HBase调优 | 写入阻塞问题与参数优化
一图胜千言,先来看下HBase数据写入流程:如上图所示,当数据写到服务端时,在持久化到磁盘之前,要经过三个重要过程:追加写WAL日志:数据会首先追加写入到WAL文件,用于故障恢复。写入...原创 2020-04-11 17:41:36 · 1139 阅读 · 0 评论 -
视频 | 58同城HBase平台及生态建设实践
本文来自58集团数据平台部负责人张祥于3月7日在DataFun社区的直播分享,主要介绍了58同城HBase平台及其生态建设的实践。视频内容版权归作者个人与DataFun社区所有。完整PP...转载 2020-03-10 09:27:58 · 279 阅读 · 0 评论 -
HBase 性能调优第一弹:内存篇
这是使用 HBase 最不可避免的一个话题,就是 HBase 的性能调优,而且通常建立在我们对 HBase 内部运行机制比较了解的基础上进行的,因此无论怎么说,调优这块都是一个相对复杂的...原创 2020-03-04 15:21:22 · 1221 阅读 · 1 评论 -
从原理到参数解析,HBase 刷写与合并机制介绍
HBase 是目前主流的 NoSQL 数据库,是一个高可靠、高性能、高伸缩的分布式 KV 存储系统,本文讲解 HBase 两个核心机制——刷写(Flush)与合并(Compaction)...原创 2020-03-02 19:40:59 · 694 阅读 · 0 评论 -
HBase 性能测试之读写P999延时压测实践
我们在使用HBase的时候,必须要能够清楚HBase服务端的性能,这对HBase的合理使用以及性能调优都非常重要,所以一般在使用HBase之前,建议做一些必要的基准性能测试,其中,读写P...原创 2020-02-22 18:32:17 · 2498 阅读 · 1 评论 -
一文读懂 HBase 核心原理与应用场景
HBase是大数据NoSQL领域里非常重要的分布式KV数据库,是一个高可靠、高性能、高伸缩的分布式存储系统,目前国内知名公司都有在大规模使用,社区也非常活跃。本文就是学习HBase的敲门...原创 2020-02-15 21:04:58 · 546 阅读 · 0 评论 -
京东JDHBase异地多活实践
JDHBase在京东集团作为线上kv存储,承担了大量在线业务,11.11、6.18 均经历了每天万亿级读写访问请求,目前规模达到7000+节点,存储容量达到了90PB。场景涉及商品订单、...转载 2020-02-11 15:33:07 · 717 阅读 · 0 评论 -
Python 操作 HBase 最佳实践
这几天玩了一下Python,不得不说Python真的很好用,但同时也遇到了很多坑。这里主要分享通过Python的happybase模块查询HBase的实践。因为HBase rowkey规则要依赖一个外包jar包,因此也涉及到通过jpype模块在Python中使用Java(这块也是不得已为之)。Python从小白到入门,描述不对的地方请多指出。关键词:happybase,jpype1. 介...原创 2019-11-11 17:40:00 · 647 阅读 · 0 评论 -
HBase 集成 Phoenix 构建二级索引实践
Phoenix 在 HBase 生态系统中占据了非常重要的地位,本文主要包括以下几方面内容: Phoenix 介绍 CDH HBase 集成Phoenix 使用 Phoenix 创建 HBase 二级索引 Phoenix 索引类型介绍 Phoenix 介绍Phoenix 是构建在 HBase 之上的高效的 SQL 引擎,同时具备 OLTP...原创 2020-02-04 14:17:30 · 797 阅读 · 0 评论 -
一文读懂 HBase 主要特性与使用场景
NoSQL必须要在一致性、可用性与分区容错性之间做出取舍,例如HBase就是牺牲了部分可用性换取了完全的一致性。我们该如何选择HBase?原创 2019-05-07 07:04:23 · 657 阅读 · 0 评论 -
一文读懂 HBase 使用场景
HBase(Hadoop database)是一个分布式、可扩展、面向列的NoSQL数据库,本质上是一个Key-Value数据库,底层存储基于HDFS,原生支持MapReduce计算框架,具有高吞吐、低延时的读写特点。那么问题来了,我们满足哪些条件的时候选择HBase作为底层存储?原创 2019-05-17 13:39:29 · 13050 阅读 · 0 评论 -
深入探讨为什么HBase Scan性能低下
与写流程对比起来,HBase读数据是一个更加复杂的操作流程,另外scan不是并行操作...HBase Scan性能剖析& vs.Parquet vs.Kudu,请阅读本文转载 2019-05-08 15:39:29 · 2889 阅读 · 0 评论 -
HBase案例 | 20000个分区导致HBase集群宕机事故处理
这是典型的HBase小集群过载问题,某客户现场10节点HBase集群支持百TB的业务量,region分区数量过多,最终导致集群宕机。阅读查看事故分析原创 2019-05-21 10:01:23 · 2151 阅读 · 0 评论 -
深入理解 HBase Compaction 机制
HBase有很多话题可以聊,包括读写路径上涉及到的一些数据结构,性能优化以及优化读写做的一些设计等。今天要探讨的Compaction机制就是HBase架构上做的一个重要优化!原创 2019-05-28 09:22:07 · 14160 阅读 · 6 评论 -
HBase原理 | HBase分区影响与合理分区设置
本文重点参考HBase官网,从分区过多这个角度出发,进一步聊一聊HBase分区过多的影响以及单节点合理分区数量等。原创 2019-06-04 13:23:52 · 5863 阅读 · 1 评论 -
HBase 不同压缩方式介绍
欢迎订阅微信公众号:大数据技术架构,更多大数据基础架构,原理与实践,社区动态等。在使用 HBase 的时候,为了节省数据的空间占用,通常我们会为 HBase 设置压缩属性。与其他的表级别属性一样,压缩设置也是针对具体列族进行设置的。HBase 创建表时默认压缩为 NONE ,即没有压缩,除非指定。目前 HBase 主要支持 4 种压缩方式:GZ(GZIP),SNAPPY,LZO...原创 2019-07-23 12:09:56 · 4273 阅读 · 1 评论 -
玩转HBase百亿级数据扫描
本文授权自微信公众号【科技中通】背景:出于中通业务场景的特殊性,我们需要大量的回刷7-15天的数据,如果全部用离线抽取的方式,会给业务系统带来巨大压力,所以利用Hbaserowkey更新的特性,来存储业务数据的历史更新,每天ETL的任务需要大量从Hbase拉取数据,ETL任务需要扫描过滤近百亿数据。传统的方案是采用的方案是HBaseStorageHandler,利用HB...转载 2019-07-17 07:37:01 · 1811 阅读 · 0 评论 -
HBase写入过快性能分析及调优
一、简单回顾HBase整个写入流程clientapi==>RPC==>serverIPC==>RPCqueue==>RPChandler==>writeWAL==>writememstore==>flushtofilesystem=>serverIPC==>R...转载 2019-07-15 08:18:53 · 744 阅读 · 1 评论 -
一文读懂HBase 2.0 MOB 特性
HBase 2.0 发布了很多新的特性,其中一个非常值得关注的是中等对象存储的特性,即 HBase MOB(Medium Object Storage)特性。HBase 2.0 MOB的引入,扩宽了HBase在人工智能、物联网等领域的应用场景。原创 2019-04-18 17:12:29 · 4931 阅读 · 0 评论