Hbase
文章平均质量分 57
实验是检验真理的唯一标准
CN-FuWei
云原生领域优质创作者,热爱开源、善于折腾,对新技术充满好奇心。
展开
-
/hbase/.oldlogs 存储空间过多如何清理
打开http://${master}:${port}/cm.jsp 账号密码均为hbase输入密码后,页面如下:调整master的log保留时间由默认的3天改成1天(注意数据安全,尽量在存储空间无风险的情况不要进行改操作)hbase.master.logcleaner.ttl 该值默认为259200000,代表3天,将该修改为86400000 1天如下:点击load使得该值被加载。原创 2024-01-17 15:30:08 · 404 阅读 · 0 评论 -
HBase .oldlogs存储空间过多清理
hbase的/hbase/.oldlogs存储空间占用过多,触发hbase-slave存储空间占用告警。原创 2023-10-12 16:16:30 · 253 阅读 · 0 评论 -
HBase清理回收站空间
Hbase回收站空间体积过大导致hbase空间被占满,磁盘使用率告警。原创 2023-10-10 16:24:43 · 267 阅读 · 0 评论 -
HBASE/HDFS服务常用启停命令
若你是通过k8s部署的高可用hbase集群(三台hbase-master,五台hbase-slave)原创 2023-10-10 15:15:41 · 873 阅读 · 0 评论 -
hbase回收站清理周期设置为1天
【代码】hbase回收站清理周期设置为1天。原创 2023-02-03 16:19:31 · 495 阅读 · 0 评论 -
HBase Region管理(拆分+合并+负载均衡)
每个 RegionServer 包含多个 Region,而每个 Region 又对应多个 Store,每一个 Store 对应表中一个列族的存储,且每个 Store 由一个 MemStore 和多个 StoreFile 文件组成。StoreFile 在底层文件系统中由 HFile 实现,也可以把 Store 看作由一个 MemStore 和多个 HFile 文件组成。...转载 2022-08-31 17:21:46 · 2043 阅读 · 1 评论 -
regionserver请求不均匀
hbase cf:column的存储按照rowkey的字母表顺序存储,rowkry前缀相同或者相近的行更容易写入到同一个region中,出现热点region,比如日志数据以timestampe开头。2)如果region一致的情况下,请求量仍然差异很大,这时候需要排查rowkey的设计和分布。1)节点上的regions的个数是否基本一致,如果不一致做balance。1)逆序存储rowkey,把无序的rowkey部分放到前面。1) 客户端数据读取更复杂,更多的逻辑代码,甚至影响性能。3)加盐处理(salt)..原创 2022-08-04 16:03:00 · 690 阅读 · 0 评论 -
NameNode性能优化(1):RPC队列拆分
NameNode默认使用8020端口侦听所有的RPC请求(HDP版本),包括客户端数据请求,DataNode心跳和block上报,ZKFC模块监控检查和切换控制。当集群规模越和RPC请求来越大时,RPC请求响应时间也变得越来越长。NameNode也给DataNode提供了专用的Service RPC port用于上报数据块和心跳状态,这样可以减少和客户端应用程序RPC队列请求的竞争。1、对于无NameNode HA的集群,参数配置如下,2、对于NameNode开启了HA的集群,配置如下,...原创 2022-08-04 16:01:31 · 505 阅读 · 0 评论 -
大数据技术之Hbase
第 1 章 HBase 简介1.1 什么是 HBaseHBase 的原型是 Google 的 BigTable 论文,受到了该论文思想的启发,目前作为 Hadoop的子项目来开发维护,用于支持结构化的数据存储。官方网站:http://hbase.apache.org– 2006 年 Google 发表 BigTable 白皮书– 2006 年开始开发 HBase– 2008 年北京成功开奥运会,程序员默默地将 HBase 弄成了 Hadoop 的子项目– 2010 年 HBase 成为 Ap原创 2022-04-26 16:39:15 · 477 阅读 · 0 评论