Hbase
文章平均质量分 71
kiraraLou
这个作者很懒,什么都没留下…
展开
-
【Hbase】HMaster 在分配region阶段时崩溃 ERROR: “Failed to become active master...“
当用户无法启动HMaster服务,并且在分配region阶段不断崩溃。原创 2023-04-24 10:58:53 · 712 阅读 · 1 评论 -
【hbase】hbase 表重命名修改表名
前言:hbase集群中有一张表,需要将表名test 改为 test_new。实施:1. 先disable 表disable 'test'2. 创建一个快照snapshot 'test', 'test_snapshot'3. 克隆这个快照 赋给新的表名clone_snapshot 'test_snapshot', 'test_new'4. 删除之前创建的快照delete_snapshot 'test_snapshot'5. 再删除掉之前的表drop 'test'...原创 2021-11-11 18:39:39 · 3775 阅读 · 1 评论 -
【hbase】使用HDFS底层文件来进行hbase 跨集群数据迁移
前言:最近要跨集群迁移hbase 表,这里选择迁移Hadoop底层数据来实现hbase的表迁移。迁移Hadoop底层文件的方式有两种:distcp从旧集群get 获取文件到本地在 put到新集群上。因为,我们这个A集群是kerberos 环境,B集群是不带kerberos环境,这里使用Distcp的方式,需要添加一个白名单的配置,并且也需要重启集群,这里就不采用distcp的方式了,使用 get/put的方式。这里仅是为了迁移底层数据,所以选择那种方式都可以。环境信息:CDH版本原创 2021-11-11 17:53:28 · 1726 阅读 · 0 评论 -
【hbase】hbase使用MR统计行数指定yarn队列,及后续遇到的问题
一、前言最近需要统计一张hbase表的条数,网上的很多案例都是使用MR的方式来进行统计,所以我们也采用这个方式。但是在实施过程中,遇到一些问题。使用MR去统计时,如果不指定队列,那么就会使用默认的YARN队列,而我们的默认队列是完全没有资源的。网上关于指定YARN队列的文章也比较少,这里整理并记录一下。二、准备这里我们使用 hbase.RowCounter包执行MR的任务。[hbase@bi-hadoop02 ~]$ hbase org.apache.hadoop.hbase.mapreduce原创 2021-09-08 10:47:47 · 1283 阅读 · 0 评论 -
总结《HBase原理与实践》集群修复、调优、故障原因
目录Hbase集群修复Hbase调优1. 操作系统级别调优2. Hbase相关组件调优3. HBase参数优化4. Hbase业务调优5. JVM调优HBase故障原因Hbase集群修复HBase集群一致性主要包括两个方面HBase Region一致性集群中所有Region都被assign,而且deploy到唯一一台RegionServer上,并且该Region的状态在内存中、hbase:meta表中以及ZooKeeper这三个地方需要保持一致。 Hbase .原创 2021-01-04 18:09:30 · 390 阅读 · 0 评论 -
总结《HBase原理与实践》第七、八章
目录1. Compaction实现1.1 Compaction基本工作原理1.1.1Compaction触发条件1.1.2待合并HFile集合选择策略2. 负载均衡实现3. Region合并4. Region的分裂4.1 Region分裂触发条件4.2 Region分裂准备工作 ---- 寻找分裂点5. 负载均衡5.1 负载均衡策略1. Compaction实现Compaction核心功能是将小文件合并成大文件,提升读取效率。1.1 Compact原创 2021-01-02 16:29:19 · 145 阅读 · 0 评论 -
总结《HBase原理与实践》第六章
1. HBase写入流程1.1 写入流程的三个阶段从整体架构看,主要是分为三个阶段:客户端将用户的写入请求进行预处理,并根据集群元数据定位写入数据所在的RegionServer,将请求发送给对应的RegionServer。 客户端将用户的写入请求进行预处理,并根据集群元数据定位写入数据所在的RegionServer,将请求发送给对应的RegionServer。 MemStore Flush阶段:当Region中MemStore容量超过一定阈值,系统会异步执行f lush操作,将内存中的数据写原创 2021-01-01 17:05:30 · 169 阅读 · 0 评论 -
总结《HBase原理与实践》第五章
目录一、RegionServer的核心模块1.1RegionServer内部结构1.2HLog1.3 MemStore1.3.1MemStore的GC问题1.3.2MSLAB内存管理方式1.3.3MemStore Chunk Pool1.4 HFile1.4.1HFile中与布隆过滤器相关的Block1.5BlockCache1.5.1 LRU缓存机制1.5.2SlabCache(已经不建议使用)1.5.3BucketCache一、Reg...原创 2020-12-28 17:01:21 · 231 阅读 · 0 评论 -
总结《HBase原理与实践》第二、四章
一、Hbase基础数据结构与算法Hase的一个 列簇 本质是一颗LSM树。LSM树分为内存和磁盘。内存:(保证有序)平衡二叉树,红黑树,跳跃表 (考虑并发)选择了跳跃表。来维护一个有序的KeyValue集合。ConcurrSkipListMap 磁盘:布隆过滤器 + 多个内部k-v有序的文件组成。1.1跳跃表跳跃表是一种能高效实现,插入,删除,查找的内存的数据结构,复杂度是O(logN),相比红黑树,跳跃表的优势在于,并发场景下锁粒度更小。广泛用于KV数据库。1.1多路归并如何.原创 2020-12-25 13:59:44 · 266 阅读 · 0 评论 -
总结《HBase原理与实践》第一章
目录开始总结《HBase原理与实践》HBase体系结构1.HBase 客户端《HBase原理与实践》第一章一、HBase体系结构1. HBase 客户端原创 2020-12-22 19:47:33 · 219 阅读 · 0 评论