阿里云mysql迁移阿里云mysql_从Mysql到阿里云时序数据库InfluxDB的数据迁移-阿里云开发者社区...

最新推荐文章于 2023-09-25 10:13:59 发布

weixin_39844880

最新推荐文章于 2023-09-25 10:13:59 发布

阅读量775

点赞数

文章标签：阿里云mysql迁移阿里云mysql

本文链接：https://blog.csdn.net/weixin_39844880/article/details/113130878

版权

本文详述如何借助阿里巴巴的DataX工具，从MySQL数据库迁移数据到阿里云时序数据库InfluxDB，涉及DataX、MySQL Reader、InfluxDB Writer的配置与使用，并提供了一个完整迁移任务的示例。

摘要由CSDN通过智能技术生成

从Mysql 到 InfluxDB的数据迁移

背景

本文主要介绍如何使用阿里巴巴的开源工具Datax 实现从 MySQL 到 InfluxDB 的数据迁移。

DataX相关使用介绍请参阅 DataX 的 README 文档。

下面将首先介绍 DataX 工具本身，以及本次迁移工作涉及到的两个插件(MySQL Reader 和 InfluxDB Writer)。

DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具 / 平台，实现包括 MySQL、Oracle、SqlServer、PostgreSQL、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

MySQL Reader

MySQL Reader 是DataX的一个插件，实现了从 MySQL 读取数据。

InfluxDB Writer

InfluxDB Writer 是 DataX 的一个插件，实现了将数据点写入到阿里云时序数据库Influxdb版中。

Quick Start

步骤一：环境准备

Linux

JDK(1.8 以上，推荐 1.8)

Python(推荐 Python 2.6.x)

MySQL(目前只支持兼容 5.x，其他版本暂不保证兼容)

InfluxDB(目前只支持兼容 1.7.x 及以上版本，其他版本暂不保证兼容)

步骤二：下载 DataX 及其插件

点击链接进行下载。

步骤三：利用 DataX 自带的迁移任务，检查迁移流程能否走通

这里，我们先以最简单的 Stream Reader 到 Stream Writer 为例。因为这两个插件不依赖任何的外部环境，特别适合用来测试流程是否能走通。简单介绍下这两个插件，其中 Stream Reader 会随机地产生字符串，而 Stream Writer 则会将接受到的字符串输出到控制台，以此模拟一个最简单的数据迁移过程。

工具部署

将下载后的安装包，解压至某个目录(作为 DATAX_HOME)，即可运行迁移任务：

cd ${DATAX_HOME}

$ python bin/datax.py job/job.json

检查任务是否成功

下面是任务结束后的汇总信息，看到如下内容，即可表示迁移任务已成功完成：

任务启动时刻 : 2019-04-26 11:18:07

任务结束时刻 : 2019-04-26 11:18:17

任务总计耗时 : 10s

任务平均流量 : 253.91KB/s

记录写入速度 : 10000rec/s

读出记录总数 : 100000

读写失败总数 : 0

步骤四：配置和启动 MySQL 到 InfluxDB 的迁移任务

通过上述 Stream Reader 到 Stream Writer 的迁移任务，我们就可以确保整个 DataX 流程是没有问题的。下面就可以真正开始 MySQL Reader 到 InfluxDB Writer 迁移任务了。

配置迁移任务

配置一个从 MySQL 数据库同步抽取数据到 TSDB 的任务，命名为 mysql2influxdb.json，完整的配置信息如下(针对各个配置参数的详细说明，请看下一章节”参数说明”)：

{

"job": {

"content": [

{

"reader": {

"name": "mysqlreader",

"parameter": {

"column": [

"host",

"unit",

"create_time",

"cpu",

"memory"

"connection": [

{

"jdbcUrl": [

"jdbc:mysql://127.0.0.1:3306/datax"

"table": [

"machine"

]

}

"password": "test",

"splitPk": "id",

"username": "test"

}

"writer": {

"name": "influxdbwriter",

"parameter": {

"column": [

"host",

"unit",

"create_time",

"cpu",

"memory"

"columnType": [

"tag",

"timestamp",

"field",

"field"

"sourceDbType": "RDB",

"endpoint": "https://ts-xxxxx.influxdata.rds.aliyuncs.com:3242",

"username": "test",

"password": "test",

"database": "datax",

"measurement": "machine"

}

"setting": {

"speed": {

"channel": 1

}

启动 MySQL 2 InfluxDB 迁移任务

$ cd ${DATAX_HOME}/..

$ ls

datax/ datax.tar.gz mysql2influxdb.json

$ python datax/bin/datax.py mysql2influxdb.json

检查任务是否成功

下面是任务结束后的汇总信息，看到如下内容，即可表示迁移任务已成功完成：

任务启动时刻 : 2019-09-21 18:25:16

任务结束时刻 : 2019-09-21 18:25:27

任务总计耗时 : 11s

任务平均流量 : 3B/s

记录写入速度 : 0rec/s

读出记录总数 : 3

读写失败总数 : 0

参数说明

接下来，我们来看下各个配置项的含义：

MySQL Reader 相关

名称

类型

是否必需

描述

默认值

举例

jdbcUrl

String

是

数据库的 JDBC 连接信息

无

jdbc:mysql://127.0.0.1:3306/datax

username

String

是

数据源的用户名

无

root

password

String

是

数据源指定用户名的密码

无

root

table

String

是

需要同步的表

无

book

column

Array

是

表中需要同步的列名集合

[]

["m"]

splitPk

String

否

如果指定 splitPk，表示用户希望使用 splitPk 代表的字段进行数据分片

空

InfluxDB Writer 相关

名称

类型

是否必需

描述

默认值

举例

sourceDbType

String

否

目前支持 TSDB 和 RDB 两个取值。其中，TSDB 指 OpenTSDB、InfluxDB、Prometheus、TimeScale 等；而 RDB 指 MySQL、Oracle、PostgreSQL、DRDS 等

TSDB

RDB

column

Array

是

表中需要同步的列名集合

[]

["host","unit","create_time","cpu","memory"]

columnType

Array

是

关系型数据库中表字段，映射到 InfluxDB 中的类型。支持的类型： timestamp：该字段是个时间戳； tag：该字段是个 tag； field：该字段代表具体的采集的指标值，其value默认是数值类型(存储为浮点类型); number_field:字段代表具体采集的指标值，其value类型为数值类型(存储为浮点类型)，string_field: 该字段代表采集的指标值为字符串类型。

[]

["tag","tag","timestamp","field","number_field","string_field"]

username

String

是

InfluxDB用户名

无

test

password

String

是

InfluxDB用户密码