hbase
LifeSecret
追求简单的结束战斗,大部分时间在磨刀霍霍
展开
-
hbase 删除数据 释放空间
# hbasecheck hbase sizehdfs dfs -du -h /hbase/data/default/[root@ZHJT machtalk]# hdfs dfs -du -h /hbase/data/default197.4 M 197.4 M /hbase/data/default/API_ACCESS_RECORD1.0 M 1.0 M /hbase/原创 2017-02-07 21:17:40 · 9516 阅读 · 1 评论 -
hbase 设置TTL释放空间
关于这个问题,经过查找,设置ttl是必须的alter "test", "value" xxxxmajor_compact # 大合并但是上面的操作虽然可以hdfs dfs -u /hbase/data/default/但是,物理空间的磁盘空间还是得不到释放参考以下:http://grokbase.com/t/hbase/user/143kabfd8f/after-drop-big-hbase-ta原创 2017-02-08 19:39:29 · 3723 阅读 · 0 评论 -
hbase flush 数据
hbase flush之后,数据才会写到data里面,要不然,数据会在内存里面。原创 2017-02-09 15:49:16 · 440 阅读 · 0 评论 -
hbase开启ttl后每个小时的20和50分钟都会有hbase健康报警
yesteday after we turn the big table TTL on, it have a big storage usage down openfalcon disk monitor show the disk io is high at the unhealthy time range hbase region log show the time that unhealty w原创 2017-02-18 09:51:03 · 1520 阅读 · 0 评论 -
hbase + 青云测试 ttl + 大合并 后 磁盘容量缩小
* ** **原创 2017-02-09 17:15:46 · 367 阅读 · 0 评论 -
hbase + falcon监控目录大小
为了更好的学习hbase的磁盘占用情况,写了个hbase脚本#!/usr/bin/env python#coding: utf8import osimport sysimport reimport commandsimport timeimport jsonimport urllib2a = commands.getoutput("hadoop dfs -du /hbase")pr原创 2017-02-10 15:29:41 · 742 阅读 · 0 评论 -
hbase 一次大规模数据写入清除测试
测试过程10:58 开始打入数据,磁盘使用率44% 11:38 由于内存8G不够,在打入数据的时候,导致falcon监控异常退出,对于本次测试效果不好,开始制作镜像,并运行新的instance 13:07 开始测试,43.394% 18:11 设置TTL,未做大合并 18 12 hbase disk storage usage 从 2539 到1571 共有968MB数据 18 15 ma原创 2017-02-10 19:39:26 · 2329 阅读 · 0 评论 -
hbase oldWALs 目录一直增长问题
检查查看日志,看看有没有is out of range如果是这样,恭喜你中奖了,可以参考 http://www.hot123.org/index/content/51254.html 这篇文章,修改哥zookeeper参数,也许有效。检查zookeeper某个节点下是否有值# 如果安装的是CDH5.5.0-0.8/opt/cloudera/parcels/CDH-5.5.0-1.cdh5.原创 2017-02-14 13:46:45 · 3457 阅读 · 0 评论 -
hbase 数据量和cpu的关系
hbase 数据量和cpu的关系 貌似有正向关系。原创 2017-02-15 18:17:48 · 1658 阅读 · 0 评论