DataX部署及迁移操作说明

DataX安装部署

1、 DataX简介

DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

源码地址:https://github.com/alibaba/DataX

2、DataX架构原理

2.1 DataX设计理念

        为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。

2.2 DataX框架设计

        DataX本身作为离线数据同步框架,采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件,纳入到整个同步框架中。

2.3 DataX调度决策思路

        举例来说,用户提交了一个DataX作业,并且配置了总的并发度为20,目的是对一个有100张分表的mysql数据源进行同步。DataX的调度决策思路是:

1)DataX Job根据分库分表切分策略,将同步工作分成100个Task。

2)根据配置的总的并发度20,以及每个Task Group的并发度5,DataX计算共需要分配4个TaskGroup。

3)4个TaskGroup平分100个Task,每一个TaskGroup负责运行25个Task。

3、DataX部署

1)下载DataX安装包并上传到qianyi-ecs的/data

下载地址:https://github.com/alibaba/DataX/tree/master

2)解压datax.tar.gz到/data

[root@qianyi-ecs data]$ tar -zxvf datax_v202309.tar -C /data

3)自检,执行如下命令

[root@qianyi-ecs data]$ python /data/datax/bin/datax.py /data/datax/job/job.json

 出现如下内容,则表明安装成功

……

2021-10-12 21:51:12.335 [job-0] INFO  JobContainer -

任务启动时刻                    : 2021-10-12 21:51:02

任务结束时刻                    : 2021-10-12 21:51:12

任务总计耗时                    :                 10s

任务平均流量                    :          253.91KB/s

记录写入速度                    :          10000rec/s

读出记录总数                    :              100000

读写失败总数                    :                   0

4、DataX使用

4.1 DataX使用概述

4.1.1、 DataX任务提交命令

        DataX的使用十分简单,用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer,并将Reader和Writer的信息配置在一个json文件中,然后执行如下命令提交数据同步任务即可。

[root@qianyi-ecs data]$ python bin/datax.py path/to/your/job.json

4.2.2、 DataX配置文件格式

可以使用如下命名查看DataX配置文件模板。

具体参见:

https://github.com/alibaba/DataX/blob/master/gaussdbreader/doc/gaussdbreader.md

DataX迁移GaussDB(DWS) —> PolarDB-O任务配置及提交

  1. GaussDB(DWS) —> PolarDB-O任务配置
{

	"job": {

		"setting": {

			"speed": {

				"channel": 2

			},

			"errorLimit": {

				"record": 0,

				"percentage": 0.02

			}

		},

		"content": [{

			"reader": {

				"name": "gaussdbreader",

				"parameter": {

					"username": "alibaba",

					"password": "xxxxxxx",

					"column": [

						'*'

					],

					"connection": [{

						"table": [

							"float_type_t10"

						],

						"jdbcUrl": [

							"jdbc:opengauss://10.131.13.3:25308/alibaba"

						]

					}]

				}

			},

			"writer": {

				"name": "postgresqlwriter",

				"parameter": {

					"username": "admin1",

					"password": "xxxxxxxx",

					"column": [

						'*'

					],

					"connection": [{

						"jdbcUrl": "jdbc:postgresql://10.219.255.13:3433/datax",

						"table": [

							"float_type_t10"

						]

					}]

				}

			}

		}]

	}



}
  1. 任务提交
python bin/datax.py GaussDb_To_PolarO/job.json_int

nohup python bin/datax.py GaussDb_To_PolarO/job.json_int > log/json_int.log 2>&1 &

nohup python bin/datax.py GaussDb_To_PolarO/job.json_int > log/json_int.log 2>&1 &

  • 21
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: datax是一个开源的数据传输工具,用于将数据从不同的数据源传输到目标数据仓库,其中包括将数据迁移至Hive中。 在数据迁移过程中,datax提供了多种方式来覆盖更新数据至Hive。其中最常用的是使用增量更新策略。增量更新是指仅将源数据中发生变化的部分传输到目标数据仓库中,以减少数据传输的时间和成本。 在使用datax进行增量更新时,需要设置一个增量字段,用于判断数据是否发生变化。常用的增量字段可以是时间戳或者是递增的ID。datax会周期性地检查源数据的增量字段,然后将发生变化的数据传输到Hive中。 除了增量更新,datax还支持全量更新和覆盖更新两种方式。全量更新是指将整个源数据重新传输到目标数据仓库中,适用于源数据量不大的情况。而覆盖更新是指每次传输数据时先清空目标数据仓库中的数据,然后再传输新的数据,适用于整个数据集都需要更新的情况。 总的来说,datax提供了多种方式来覆盖更新迁移数据至Hive,可以根据具体的需求和数据量选择合适的更新策略。无论是增量更新、全量更新还是覆盖更新,都可以通过datax来实现数据的高效传输和迁移。 ### 回答2: DataX是一种开源的数据迁移工具,它可以用于将数据从不同的数据迁移到Hive中。Hive是一种大数据处理框架,它提供了类似于SQL的查询语言,用于查询和分析存储在Hadoop集群上的大规模数据。 当我们使用DataX进行数据迁移时,首先需要配置数据源和目标源的连接信息。例如,我们可以配置数据源为关系型数据库(如MySQL、Oracle等)或其他数据存储系统,而目标源可以是Hive。 配置完成后,我们还需要指定数据源和目标源的表结构信息,以及数据的映射关系。这包括指定源表和目标表的名称、列名、数据类型等信息,以确保数据能够正确地迁移到Hive中。 在数据迁移过程中,DataX会读取源表的数据,并将其转换成Hive表的格式。这包括将数据分割成小批量的文件,并按照Hive的分区规则进行存储。同时,DataX还支持数据转换和过滤操作,以允许我们在迁移过程中对数据进行清洗和加工。 一旦数据迁移完成,我们就可以使用Hive来进行数据的查询和分析了。Hive提供了类似于SQL的查询语言,这使得数据分析师和开发人员可以轻松地使用已迁移数据进行各种复杂的数据操作。 总而言之,DataX是一个强大的数据迁移工具,它可以帮助我们将数据从不同数据迁移到Hive中。通过使用DataX,我们可以轻松地实现数据的覆盖更新,以及在Hive上进行数据分析和查询的需求。 ### 回答3: datax是一个开源的数据迁移工具,可以方便地将数据从不同的数据迁移到Hive中。它支持各种数据源和目标格式,如关系型数据库、文件系统、NoSQL数据库等。通过使用datax,可以实现数据的覆盖更新和迁移。 首先,我们需要编写一个datax作业配置文件,指定数据源和目标表的信息。在配置文件中,我们可以指定源数据和目标表的连接信息,以及数据的映射关系、字段转换和过滤条件等。通过这些配置,datax能够准确地将数据从源数据迁移到Hive中。 对于数据的覆盖更新,我们可以在配置文件中指定覆盖模式。这样,当我们运行datax作业时,它会根据覆盖模式来更新数据。例如,我们可以选择全表覆盖模式,即删除目标表中的数据,然后将源数据插入到目标表中;或者选择增量覆盖模式,即根据主键或唯一键来判断是否更新数据。 在数据迁移过程中,datax会按照配置文件中的设置,将数据从源数据源读取出来,并按照映射关系进行转换和过滤。然后,datax会将转换后的数据写入到Hive表中。在写入过程中,datax会根据配置文件中的覆盖模式进行相应的操作,确保数据的准确性和完整性。 总之,通过使用datax,我们可以方便地将数据从各种数据迁移到Hive中,并实现数据的覆盖更新。无论是全表覆盖还是增量覆盖,datax都能够提供灵活而高效的数据迁移解决方案。同时,datax还支持分布式部署和任务调度等功能,可以满足大规模数据迁移和更新的需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值