数据监控系统的架构与搭建实践

数据监控系统的架构与搭建实践

背景

最近接到的课题， 有一Kafka服务器 推送集群的监控数据过来
要做一个对应的监控程序 分析集群状态

分析

如果要做监控程序
这里有几个方案，分析如下

Prometheus+Grafana

Prometheus 简介

Prometheus 则是 Google BorgMon 的开源实现。Prometheus 是由 SoundCloud 开发的开源监控报警系统和时序列数据库。从字面上理解，Prometheus 由两个部分组成，一个是监控报警系统，另一个是自带的时序数据库（TSDB）。
2016 年，由 Google 发起的 Linux 基金会旗下的原生云基金会（Cloud Native Computing Foundation）将 Prometheus 纳入其第二大开源项目。Prometheus 在开源社区也十分活跃，在 GitHub 上拥有两万多 Star，并且系统每隔一两周就会有一个小版本的更新。

Grafana 简介

Grafana 是面向 Graphite, InfluxDB & OpenTSDB 开源(Apache v2)可视化仪表盘，使用 Go 和 Node.js 开发。

Prometheus普罗米修斯，是一个开源的监控解决方案。而Grafana则是一个开源的跨平台的度量分析、可视化工具。两者组合使用即可快速搭建出一个漂亮的监控系统
由于 本课题中kafka已经完成数据采集 Prometheus有些不适合 未采用此方案

MySQL+Grafana

mySQL （关系型数据库管理系统）介绍

MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。

MySQL 关系型管理 与此课题有点不融合 未采用此方案

OpenTsdb+Grafana

OpenTSDB 简介

OpenTSDB是一个基于HBase的可扩展时间序列数据库，支持数百万每秒的读写，与OpenTSDB的交互主要是通过运行一个或多个TSD来实现的。每个TSD是独立的，没有主设备，没有共享状态，因此您可以根据需要运行任意数量的 TSD，以处理向其施加的任何负载。

OpenTSDB 是基于时间序列的数据库 与我们的监控课题相贴切。
缺点是需要学习 以前没用过 但是其REST风格的接口 感觉学习曲线可以接受
最后才用了此方案

Next

TOTO： 环境搭建