HA InfluxDB 作为 Prometheus 的后端存储

新钛云服已累计为您分享730篇技术干货

前言

Prometheus是自带数据存储功能的。不过保存的时间默认为15天。

对用户而言，Prometheus自带的本地存储的方式最大的优点是简单易用，基本无需配置。但缺点也是比较明显的：

1. 数据无法长久保存，尤其是变更比较频繁的监控对象产生的数据，通常这种情况除了会导致性能问题外，还可能造成数据的丢失，比如K8S的监控

2. 基于本地存储的话，Prometheus监控系统扩展比较难

以上缺点可以配置远程存储解决，使用remote_write和remote_read这两个接口，从第三方存储服务中进行监控数据的读写。

本文描述了一种基于 Influx-relay 和 Nginx 提供高可用 InfluxDB 存储的方法。

1.Prometheus 存储问题及解决方案

Prometheus本地存储专为短期且性能要求不高的数据而设计的，因此，使用的时候需要确认当前数据的保留期限以及相应的可用性要求。为了让我们将持久数据存储更长的时间，我们使用了“外部存储”机制。在这种模式下，Prometheus 将自己的数据复制到外部存储。

Prometheus高可用有多种方案，但我们选择了通过 InfluxDB 实现的高可用解决方案。InfluxDB 是一种可靠且强大的存储软件，有很多功能。此外，它非常适合与Grafana对接，从而提供可视化监控 。

软件‍‍‍‍‍‍‍‍‍‍‍‍‍	版本
Prometheus	2.3.0
Grafana	6.0.0

‍ ‍ ‍ ‍

2.InfluxDB 安装概览 

在我们的部署过程中，我们遵循了Influx-Relay 官方文档(https://github.com/influxdata/influxdb-relay/blob/master/README.md)。安装需要三个节点：

• 第一个和第二个是运行 Influx-relay 守护进程的 InfluxDB 实例

• 第三个是运行 Nginx 的负载均衡节点

根据InfluxDB 官方推荐的 Influx-Relay 方案，推荐使用 5 节点（四个 InfluxDB 实例 + Loadbalancer 节点），但三个节点足以满足我们的工作负载。

‍‍‍‍

节点上操作系统都使用了 Ubuntu Xenial。见下表软件版本：

Software	Version
Ubuntu	Ubuntu 16.04.1 LTS
Kernel	4.4.0-47-generic
InfluxDB	2.1
Influx-Relay	adaa2ea7bf97af592884fcfa57df1a2a77adb571
Nginx ‍‍‍‍‍‍‍‍‍‍‍‍	nginx/1.16.0

‍‍‍‍‍

部署 InfluxDB HA 我们使用了本文7.1中描述的Influxdb HA 部署脚本 。

3.InfluxDB HA机制实现

HA 机制已从 InfluxDB（自版本 1.xx 起）移出，现在仅作为企业选项提供。目前有一个官方的fork还在活跃，这里主要讲一下目前活跃的relay的fork，github地址在influxdb-relay(https://github.com/vente-privee/influxdb-relay)。

Influx-Relay

01

Influx-relay 是用 Golang 编写的，其原理总结为将写入查询代理到多个目的地（InfluxDB 实例）。Influx-Relay 在每个 InfluxDB 节点上运行，因此任何 InfluxDB 实例的写入请求都会在所有其他节点上进行镜像。Influx-Relay 轻巧而健壮，不会消耗太多系统资源。请参阅本文7.3描述的Influx-Relay配置。

nginx

02

Nginx 守护进程在单独的节点上运行并充当负载均衡器（上游代理模式）。它将“/query”查询直接重定向到每个 InfluxDB 实例，并将“/write”查询重定向到每个 Influx-relay 守护进程。轮询算法被调度用于查询和写入。这样，传入的读取和写入在整个 InfluxDB 集群中均衡。请参阅本文7.4描述的Nginx配置。

4.InfluxDB 监控

InfluxDB HA 安装使用 Prometheus 进行了测试，该 Prometheus 轮询 200 节点的服务，并生成大量流向其外部存储的数据流。为了测试 InfluxDB 性能，在 Grafana 的帮助下使用并可视化了“_internal”数据库计数器。我们发现 3 节点的 InfluxDB HA 可以轻松处理 200 节点的 Prometheus 负载，并且总体性能不会降低。用于 InfluxDB 监控的 Grafana 仪表板可以在参考本文的7.5部分。

5.InfluxDB HA 性能数据

InfluxDB 数据库性能数据

01

这些图表是通过Grafana 根据原生存储在 InfluxDB '_internal' 数据库中的指标构建的。为了创建可视化，我们使用了 Grafana InfluxDB Dashboard(https://docs.openstack.org/developer/performanc-docs/methodologies/monitoring/influxha.html#grafana-influxdb-dashboard)。

InfluxDB node1 数据库性能	InfluxDB node2 数据库性能