本文介绍了如何使用Elasticsearch的命令行工具统计集群数据量，并通过shell脚本、Java和cron定时任务实现增量数据的计算与定时邮件发送。详细讲述了每个步骤的实现方式，包括数据收集、增量计算以及邮件通知。该方法为数据监控提供了一个简单的可视化解决方案。
0、需求
随着ELKStack在应用系统中的数据规模的急剧增长，每天千万级别数据量（存储大小：10000000*10k/1024/1024=95.37GB，假设单条数据10kB，实际远大于10KB）的累积成为日常需求。如何以相对简单的图形化效果展示数据的增量呢？本文给出思路和实现。
1、问题分解
1.1 ES集群的数据量统计
ES自带的命令行统计举例：
`
curl 'localhost:9200/_cat/indices?v'
`
1.2 如何实现增量？
简化思路：1）每天的固定时间，如早晨00:00统计一次当天的数据量，形成日志文件存储如：20180228-00:00.log2）20180228的增量为：20180229-00:00.log的数据值-20180228-00:00.log的数据量。（下一天-前一天）
1.3 如何实现统计
简化思路：1）shell脚本获取每天统计的数据量2）Excel公式简单计算增量
1.4 如何实现定时邮件统计
简化思路：1）java + 邮件程序 + 读取脚本实现。2）crontab实现定时任务处理。
2、具体实现
2.1 单日数据量统计
返回结果如下：
最低0.47元/天 解锁文章
扫一扫
463
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
