prometheus同步数据到mysql_从 Prometheus 到 TSDB 的数据迁移

背景

本文介绍如何使用阿里巴巴的开源工具Datax 实现从 Prometheus 到 TSDB 的数据迁移。

DataX相关使用介绍请参阅 DataX 的

下面将首先介绍 DataX 工具本身，以及本次迁移工作涉及到的两个插件(Prometheus Reader 和 TSDB Writer)。

DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具 / 平台，实现包括 MySQL、Oracle、SqlServer、PostgreSQL、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

Prometheus Reader

Prometheus Reader 是 DataX 的一个插件，实现了从 Prometheus 读取数据。

TSDB Writer

TSDB Writer 是 DataX 的一个插件，实现了将数据点写入到阿里巴巴自研 TSDB 数据库中。

Quick Start

步骤一：环境准备Linux

Prometheus(目前只支持兼容 2.9.x，其他版本暂不保证兼容)

TSDB(目前只支持兼容 2.4.x 及以上版本，其他版本暂不保证兼容)

步骤二：下载 DataX 及其插件点击

点击

步骤三：利用 DataX 自带的迁移任务，检查迁移流程能否走通

这里，我们先以最简单的 Stream Reader 到 Stream Writer 为例。因为这两个插件不依赖任何的外部环境，特别适合用来测试流程是否能走通。简单介绍下这两个插件，其中 Stream Reader 会随机地产生字符串࿰