铭毅天下

【死磕Elasticsearch知识星球】http://t.cn/RmwM3N9;【Elasticsearch微信公众号】铭毅天下;【死磕ElasticsearchQQ群】626036393...

Elasticsearch索引增量统计及定时邮件实现

0、需求

随着ELKStack在应用系统中的数据规模的急剧增长,每天千万级别数据量(存储大小:10000000*10k/1024/1024=95.37GB,假设单条数据10kB,实际远大于10KB)的累积成为日常需求。
如何以相对简单的图形化效果展示数据的增量呢?
本文给出思路和实现。

1、问题分解

1.1 ES集群的数据量统计

ES自带的命令行统计举例:

  curl 'localhost:9200/_cat/indices?v'

1.2 如何实现增量?

简化思路:
1)每天的固定时间,如早晨0:00统计一次当天的数据量,形成日志文件存储如:20180228-08:00.log
2)20180228的增量为:20180229-00:00.log的数据值-20180228-00:00.log的数据量。(下一天-前一天)

1.3 如何实现统计

简化思路:
1)shell脚本获取每天统计的数据量
2)Excel公式简单计算增量

1.4 如何实现定时邮件统计

简化思路:
1)java + 邮件程序 + 读取脚本实现。
2)crontab实现定时任务处理。

2、具体实现

2.1 单日数据量统计

#!/bin/sh
echo "curTime: "`date '+%Y-%m-%d %H:%M:%S'`
rm -f ./tmp.rst
curl -s -XGET '192.168.1.21:9200/_cat/indices?v&pretty' | grep "open" | grep "index_*" | sort -n -k7 | tee ./tmp.rst
echo "total:" `awk '{sum += $7};END {print sum}' ./tmp.rst`
rm -f ./tmp.rst

返回结果如下:
这里写图片描述

2.2 Java读取Shell脚本

public static String getShellCont(){
String strRst = "";
try {

String shpath="/home/mail_print.sh";
Process ps = Runtime.getRuntime().exec(shpath);

ps.waitFor();

BufferedReader br = new BufferedReader(new InputStreamReader(ps.getInputStream()));
StringBuffer sb = new StringBuffer();

Strig line;
while ((line = br.readLine()) != null) {
//特殊字符替换
line = line.replace("\t", "&nbsp&nbsp");
line = line.replace(" ", "&nbsp&nbsp");
sb.append(line).append("<br>");

}

strRst = sb.toString();
System.out.println(strRst);
}

catch (Exception e) {
e.printStackTrace();
}
return strRst;
}

2.3 增量数据统计

步骤1:单日数据统计。
这里写图片描述

步骤2:增量数据统计。
这里写图片描述

步骤1,步骤2数据可以Excel统计得出。
其中单日数据的拷贝shell脚本如下:

cat 20180102-00000*.log | grep count | awk -F "count:" ' { print $2 }'

步骤3:Excel生成图表。
这里写图片描述

3、难点

4、小结

通过shell脚本+Excel数据统计,简单实现了数据增量可视化。
通过java+邮件处理+定时任务,实现了数据的定时统计以及定时邮件预警功能。
可以,在此基础上,做更多的扩展应用,比如:
1)集群监控状态监控;
2)集群堆内存使用监控;
3)开发中其他相关物理机器内存、CPU、磁盘读写性能等指标的监控等。

——————————————————————————————————
更多ES相关实战干货经验分享,请扫描下方【铭毅天下】微信公众号二维码关注。
(每周至少更新一篇!)

这里写图片描述
和你一起,死磕Elasticsearch
——————————————————————————————————

2018.03.03 1:19 于家中床前

作者:铭毅天下
转载请标明出处,原文地址:
http://blog.csdn.net/laoyang360/article/details/79427706
如果感觉本文对您有帮助,请点击‘顶’支持一下,您的支持是我坚持写作最大的动力,谢谢!

阅读更多

扫码向博主提问

去开通我的Chat快问

wojiushiwo987

博客专家

和你一起,死磕ELK Stack!
  • 擅长领域:
  • ES
  • ELK
  • bigdata
版权声明:本文为博主原创文章,未经博主允许不得转载。转载请务必加上原作者:铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/79427706
所属专栏: 深入详解Elasticsearch
上一篇《死磕 Elasticsearch 方法论》:普通程序员高效精进的 10 大狠招!(完整版)
下一篇Elasticsearch全量数据增量遍历实现原理
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭