背景
由于之前的doris数仓在本地的服务器，当数据量越来越大，服务器的性能达不到要求，查询数据经常超时，故需要把本地的doris数仓部署到云上，本文以阿里云为例，迁移工具使用的阿里开源的datax。
datax官方文档
准备
首先使用navicat连接上源数据库与目标数据库
阿里云数仓
在目标数据创建需要迁移的表
源数据库上面执行下面的语句得到建表语句
show CREATE TABLE your_table;
然后拿到建表语句去目标数据库执行。
datax工具安装
环境
Linux或者windows
JDK(1.8以上，推荐1.8)
Python(2或3都可以)
Apache Maven 3.x (Compile DataX)
方法一、直接下载DataX工具包：DataX下载地址
下载后解压至本地某个目录，进入bin目录，即可运行同步作业：
$ cd {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}
自检脚本： python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json
方法二、下载DataX源码，自己编译：DataX源码
(1)、下载DataX源码：
$ git clone git@github.com:alibaba/DataX.git
(2)、通过maven打包：
$ cd {DataX_source_code_home}
$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true
打包成功，日志显示如下：
[INFO] BUILD SUCCESS
[INFO] -----------------------------------------------------------------
[INFO] Total time: 08:12 min
[INFO] Finished at: 2015-12-13T16:26:48+08:00
[INFO] Final Memory: 133M/960M
[INFO] -----------------------------------------------------------------
打包成功后的DataX包位于 {DataX_source_code_home}/target/datax/datax/，结构如下：
$ cd {DataX_source_code_home}
$ ls ./target/datax/datax/
bin conf job lib log log_perf plugin script tmp
配置示例：从stream读取数据并打印到控制台
第一步、创建作业的配置文件（json格式）
可以通过命令查看配置模板： python datax.py -r {YOUR_READER} -w {YOUR_WRITER}
$ cd {YOUR_DATAX_HOME}/bin
$ python datax.py -r streamreader -w selectdbwriter
PS C:\Users\zhubayi\Downloads\datax\datax\bin> python datax.py -r streamreader -w selectdbwriter
DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
Please refer to the streamreader document:
https://github.com/alibaba/DataX/blob/master/streamreader/doc/streamreader.md
Please refer to the selectdbwriter document:
https://github.com/alibaba/DataX/blob/master/selectdbwriter/doc/selectdbwriter.md
Please save the following configuration as a json file and use
python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json
to run the job.
{
"job": {
"content": [
{
"reader": {
"name": "streamreader",
"parameter": {
"column": [],
"sliceRecordCount": ""
}
},
"writer": {
"name": "selectdbwriter",
"parameter": {
"column": [],
"connection": [
{
"jdbcUrl": "",
"selectedDatabase": "",
"table": []
}
],
"loadProps": {},
"loadUrl": [],
"password": "",
"postSql": [],
"preSql": [],
"username": ""
}
}
}
],
"setting": {
"speed": {
"channel": ""
}
}
}
}
dorisreader和selectdbwriter配置
{
"core":{
"transport": {
"channel": {
"speed": {
"byte": 536870912000,
"record": 1000000
}
}
}
},
"job": {
"content": [{
"reader": {
"name": "dorisreader",
"parameter": {
"column": ["id", "name", "nick_name", "age"],
"connection": [{
"jdbcUrl": ["jdbc:mysql://127.0.0.1:9030/test?useSSL=false"],
"table": ["t1"]
}],
"username": "root",
"password": "123456",
"splitPk": "id",
"where": ""
}
},
"writer": {
"name": "selectdbwriter",
"parameter": {
"loadUrl": [
"192.168.3.123:8080"
],
"loadProps": {
"file.type": "json",
"file.strip_outer_array": true
},
"column": ["id", "name", "nick_name", "age"],
"username": "admin",
"password": "123456",
"postSql": [
],
"preSql": [
],
"connection": [{
"jdbcUrl": "jdbc:mysql://192.168.3.123:9030/test?useSSL=false",
"table": [
"t1"
],
"selectedDatabase": "test"
}],
"maxBatchRows": 1000000,
"maxBatchByteSize": 536870912000
}
}
}],
"setting": {
"speed": {
"channel": "1"
},
"errorLimit": {
"record": 0,
"percentage": 0
}
}
}
}
这个任务配置文件包含了一个名为“job”的任务，它有两个子节点：setting和content。其中，setting节点包含了任务的一些设置，例如并发通道数；content节点则包含了数据读取和写入的详细配置信息。
core与job参数介绍
| 配置 | 说明 |
|---|---|
| core.transport.channel.speed.byte | 单个channel容纳最多的字节数 |
| core.transport.channel.speed.record | 单个channel容纳最多的record数 |
| job.setting.speed.channel | 该job所需要的channel的个数 |
| job.setting.speed.byte | 该job最大的流量 |
| job.setting.speed.record | 该job最大的record流量 |
reader参数说明
-
jdbcUrl
-
描述：描述的是到对端数据库的JDBC连接信息，使用JSON的数组描述，并支持一个库填写多个连接地址。之所以使用JSON数组描述连接信息，是因为阿里集团内部支持多个IP探测，如果配置了多个，DorisReader可以依次探测ip的可连接性，直到选择一个合法的IP。如果全部连接失败，DorisReader报错。 注意，jdbcUrl必须包含在connection配置单元中。对于阿里集团外部使用情况，JSON数组填写一个JDBC连接即可。
-
必选：是
-
默认值：无
-
-
username
-
描述：数据源的用户名
-
必选：是
-
默认值：无
-
-
password
-
描述：数据源指定用户名的密码
-
必选：是
-
默认值：无
-
-
table
-
描述：所选取的需要同步的表。使用JSON的数组描述，因此支持多张表同时抽取。当配置为多张表时，用户自己需保证多张表是同一schema结构，DorisReader不予检查表是否同一逻辑表。注意，table必须包含在connection配置单元中。
-
必选：是
-
默认值：无
-
-
column
-
描述：所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。用户使用代表默认使用所有列配置，例如['']。
支持列裁剪，即列可以挑选部分列进行导出。
支持列换序，即列可以不按照表schema信息进行导出。
支持常量配置，用户需要按照Doris SQL语法格式: [“id”, “table”, “1”, “‘bazhen.csy’”, “null”, “to_char(a + 1)”, “2.3” , “true”] id为普通列名，table为包含保留字的列名，1为整形数字常量，'bazhen.csy’为字符串常量，null为空指针，to_char(a + 1)为表达式，2.3为浮点数，true为布尔值。 -
必选：是
-
默认值：无
-
-
splitPk
-
描述：DorisReader进行数据抽取时，如果指定splitPk，表示用户希望使用splitPk代表的字段进行数据分片，DataX因此会启动并发任务进行数据同步，这样可以大大提供数据同步的效能。
推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。
目前splitPk仅支持整形数据切分，不支持浮点、字符串、日期等其他类型。如果用户指定其他非支持类型，DorisReader将报错！
如果splitPk不填写，包括不提供splitPk或者splitPk值为空，DataX视作使用单通道同步该表数据。 -
必选：否
-
默认值：空
-
-
where
-
描述：筛选条件，DorisReader根据指定的column、table、where条件拼接SQL，并根据这个SQL进行数据抽取。在实际业务场景中，往往会选择当天的数据进行同步，可以将where条件指定为
gmt_create > $bizdate。注意：不可以将where条件指定为limit 10，limit不是SQL的合法where子句。
where条件可以有效地进行业务增量同步。如果不填写where语句，包括不提供where的key或者value，DataX均视作同步全量数据。 -
必选：否
-
默认值：无
-
-
querySql
-
描述：在有些业务场景下，where这一配置项不足以描述所筛选的条件，用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后，DataX系统就会忽略table，column这些配置型，直接使用这个配置项的内容对数据进行筛选，例如需要进行多表join后同步数据，使用select a,b from table_a join table_b on table_a.id = table_b.id
当用户配置querySql时，DorisReader直接忽略table、column、where条件的配置，querySql优先级大于table、column、where选项。 -
必选：否
-
默认值：无
-
类型转换
目前DorisReader支持大部分Doris类型，但也存在部分个别类型没有支持的情况，请注意检查你的类型。
下面列出DorisReaderr针对Doris类型转换列表:
| DataX 内部类型 | doris 数据类型 |
|---|---|
| Long | int, tinyint, smallint, int, bigint,Largint |
| Double | float, double, decimal |
| String | varchar, char, text, string, map, json, array, struct |
| Date | date, datetime |
| Boolean | Boolean |
请注意:
tinyint(1) DataX视作为整形。
writer配置参数说明
-
jdbcUrl
- 描述：selectdb 的 JDBC 连接串，用户执行 preSql 或 postSQL。
- 必选：是
- 默认值：无
-
loadUrl
- 描述：作为 selecdb 的连接目标。格式为 “ip:port”。其中 IP 是 selectdb的private-link，port 是selectdb 集群的 http_port
- 必选：是
- 默认值：无
-
username
- 描述：访问selectdb数据库的用户名
- 必选：是
- 默认值：无
-
password
- 描述：访问selectdb数据库的密码
- 必选：否
- 默认值：空
-
connection.selectedDatabase
- 描述：需要写入的selectdb数据库名称。
- 必选：是
- 默认值：无
-
connection.table
- 描述：需要写入的selectdb表名称。
- 必选：是
- 默认值：无
- 描述：需要写入的selectdb表名称。
-
column
- 描述：目的表需要写入数据的字段，这些字段将作为生成的 Json 数据的字段名。字段之间用英文逗号分隔。例如: “column”: [“id”,“name”,“age”]。
- 必选：是
- 默认值：否
-
preSql
- 描述：写入数据到目的表前，会先执行这里的标准语句。
- 必选：否
- 默认值：无
-
postSql
- 描述：写入数据到目的表后，会执行这里的标准语句。
- 必选：否
- 默认值：无
-
maxBatchRows
- 描述：每批次导入数据的最大行数。和 batchSize 共同控制每批次的导入数量。每批次数据达到两个阈值之一，即开始导入这一批次的数据。
- 必选：否
- 默认值：500000
-
batchSize
- 描述：每批次导入数据的最大数据量。和 maxBatchRows 共同控制每批次的导入数量。每批次数据达到两个阈值之一，即开始导入这一批次的数据。
- 必选：否
- 默认值：90M
-
maxRetries
- 描述：每批次导入数据失败后的重试次数。
- 必选：否
- 默认值：3
-
labelPrefix
- 描述：每批次上传文件的 label 前缀。最终的 label 将有
labelPrefix + UUID组成全局唯一的 label，确保数据不会重复导入 - 必选：否
- 默认值：
datax_selectdb_writer_
- 描述：每批次上传文件的 label 前缀。最终的 label 将有
-
loadProps
-
描述：COPY INOT 的请求参数
这里包括导入的数据格式：file.type等，导入数据格式默认我们使用csv，支持JSON，具体可以参照下面类型转换部分
-
必选：否
-
默认值：无
-
-
clusterName
-
描述：selectdb could 集群名称
-
必选：否
-
默认值：无
-
-
flushQueueLength
-
描述：队列长度
-
必选：否
-
默认值：1
-
-
flushInterval
-
描述：数据写入批次的时间间隔，如果maxBatchRows 和 batchSize 参数设置的有很大，那么很可能达不到你这设置的数据量大小，会执行导入。
-
必选：否
-
默认值：30000ms
-
类型转换
默认传入的数据均会被转为字符串，并以\t作为列分隔符，\n作为行分隔符，组成csv文件进行Selectdb导入操作。
默认是csv格式导入，如需更改列分隔符， 则正确配置 loadProps 即可：
"loadProps": {
"file.column_separator": "\\x01",
"file.line_delimiter": "\\x02"
}
如需更改导入格式为json， 则正确配置 loadProps 即可：
"loadProps": {
"file.type": "json",
"file.strip_outer_array": true
}
启动DataX
$ cd {YOUR_DATAX_DIR_BIN}
$ python datax.py ./doris2selecdb.json
同步结束，显示日志如下：
2024-08-26 17:10:18.721 [job-0] INFO JobContainer - PerfTrace not enable!
2024-08-26 17:10:18.721 [job-0] INFO StandAloneJobContainerCommunicator - Total 12976386 records, 1444190303 bytes | Speed 2.33MB/s, 21993 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 28.820s | All Task WaitReaderTime 308.386s | Percentage 100.00%
2024-08-26 17:10:18.722 [job-0] INFO JobContainer -
任务启动时刻 : 2024-08-26 17:00:24
任务结束时刻 : 2024-08-26 17:10:18
任务总计耗时 : 593s
任务平均流量 : 2.33MB/s
记录写入速度 : 21993rec/s
读出记录总数 : 12976386
读写失败总数 : 0
6万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
