HBase
文章平均质量分 93
ZhaoYingChao88
学而不思则罔,思而不学则殆!
展开
-
深入HBASE原理详解
HBase读数据流程HBase读数据流程HBase元数据信息.HBase读操作首先从zk中找到meta表的region信息,然后meta表中的数据,meta表中存储了用户的region信息 根据要查询的namespace、表名和rowkey信息,找到对应的真正存储要查询的数据的region信息 找到这个region对应的regionServer,然后发送请求 查找对应的region 先从metastore查找数据,如果没有,再从BlockCache读取。 ...原创 2021-03-16 16:50:00 · 558 阅读 · 0 评论 -
HBase Shell Filter及对应开发使用
一般操作:-----hbase(main)> statushbase(main)> version创建命名空间: namespace指的是一个 表的逻辑分组 ,同一组中的表有类似的用途,相当于关系型数据库中的database。hbase(main):060:0> create_namespace 'test1'drop_namespace 创建该命名空...原创 2019-12-31 16:26:02 · 1035 阅读 · 0 评论 -
HBase写入过快性能分析及调优
HBase整个简单写入流程client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> write WAL ==> write memstore ==> flush to filesystem整个写入流程从客户端调用API开始,数据会通过protobuf编码成一个请求,...原创 2019-07-09 14:17:09 · 1811 阅读 · 0 评论 -
hbase自带的压力测试使用
个人推荐使用:https://github.com/brianfrankcooper/YCSB/示例: 顺序写命令:hbase org.apache.hadoop.hbase.PerformanceEvaluation --rows=10000 --valueSize=8000 randomWrite 5hbase pe --nomapred --oneCon=true --va...原创 2019-05-30 19:14:52 · 4957 阅读 · 0 评论 -
spark hbase shc基本使用
shc测试环境的搭建参考:spark读写HBase之使用hortonworks的开源框架shc(一):源码编译以及测试工程创建读写HBase需要两个核心的元素:用户描述数据结构的schema字符串 与schema字符串相对应的实体类1. 定义schema字符串object Catalog { val schema = s"""{ | ...原创 2019-05-13 20:52:36 · 1711 阅读 · 3 评论 -
hbase rename更改表名
因为hbase中没有rename命令,所以更改表名比较复杂。重命名主要通过hbase的快照功能。1.停止表继续插入 hbase shell>disable 'tableName'2。制作快照hbase shell> snapshot 'tableName', 'tableSnapshot'3.克隆快照为新的名字hbase shell> clone_snapshot 'table...原创 2018-07-03 11:46:06 · 5788 阅读 · 1 评论 -
使用maven的Shade方式解决
java 依赖包冲突问题描述程序中同时使用了hadoop工具包与ElasticSearch工具导致jar包。程序报错:java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecutor()Ljava/util/concurrent/Executor;内容如下:java.lang.No...原创 2018-06-08 11:26:33 · 15672 阅读 · 3 评论 -
HBase多租户机制分析
背景介绍在HBase1.1.0发布之前,HBase同一集群上的用户、表都是平等的,没有优劣之分。这种’大同’社会看起来完美,实际上有很多问题。最棘手的主要有这么两个,其一是某些业务较其他业务重要,需要在资源有限的情况下优先保证核心重要业务的正常运行,其二是有些业务在某些场景下会时常’抽风’,QPS常常居高不下,严重消耗系统资源,导致其他业务无法正常运转。这实际上是典型的多租户问题,社区针对这个问题...原创 2018-03-21 20:12:44 · 603 阅读 · 0 评论 -
HBase详解
在系统地学习了下Hbase,为了加深对Hbase的理解,对相关知识点做了笔记,并在组内进行了Hbase相关技术的分享,由于Hbase涵盖的内容比较多,因此计划分享2期,下面就是针对第一期Hbase技术分享整体而成,主要内容如下:一、Hbase介绍二、Hbase的Region介绍三、Hbase的写逻辑介绍四、Hbase的故障恢复五、Hbase的拆分和合并如下ppt所示:下面就来针对各个部分的内容来进...原创 2018-03-21 19:43:29 · 769 阅读 · 0 评论 -
HBase参数调优
一、服务端调优 1、参数配置 1)、hbase.regionserver.handler.count:该设置决定了处理RPC的线程数量,默认值是10,通常可以调大,比如:150,当请求内容很大(上MB,比如大的put、使用缓存的scans)的时候,如果该值设置过大则会占用过多的内存,导致频繁的GC,或者出现OutOfMemory,因此该值不是越大越好。 2)、hbase.hregion.m...原创 2018-03-23 14:32:55 · 837 阅读 · 0 评论 -
HBase Compaction详解
RegionServer维护Master分配给它的region,处理对这些region的IO请求,负责切分在运行过程中变得过大的region, 由于集群性能( 分配的内存和磁盘是有限的 )有限的,那么HBase单个RegionServer的region数目肯定是有上限的。Region数目上限 RegionServer的region数目取决于memstore的内存使用,每个region拥有一...原创 2018-03-23 14:14:45 · 13550 阅读 · 2 评论 -
HBase最佳实践-HBase中的读性能优化策略
任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBase也一样,在真实生产线上大家或多或少都会遇到很多问题,有些是HBase还需要完善的,有些是我们确实对它了解太少。总结起来,大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大。Full GC问题之前在一些文章里面已经讲过它的来龙去脉,主要的解决方案目前主要有原创 2017-11-14 19:40:40 · 537 阅读 · 0 评论 -
HBase最佳实践-HBase中的写性能优化策略
上一篇文章主要介绍了HBase读性能优化的基本套路,本篇文章来说道说道如何诊断HBase写数据的异常问题以及优化写性能。和读相比,HBase写数据流程倒是显得很简单:数据先顺序写入HLog,再写入对应的缓存Memstore,当Memstore中数据大小达到一定阈值(128M)之后,系统会异步将Memstore中数据flush到HDFS形成小文件。HBase数据写入通常会遇到两类问题原创 2017-11-14 19:37:55 · 764 阅读 · 0 评论