DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战

最新推荐文章于 2024-08-07 13:09:42 发布
最新推荐文章于 2024-08-07 13:09:42 发布
阅读量4.3k 收藏 11
点赞数
文章标签： 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hack1015/article/details/123265214
版权
本文介绍了如何使用DolphinScheduler配合DataX实现MySQL到MySQL的增量数据同步。通过配置工作流，包括SHELL和DATAX组件，详细说明了reader和writer的设置，尤其是增量同步的关键配置。同时，文中分享了在配置过程中遇到的问题，如缺少ElasticSearchWriter插件的解决办法，并提供了官方文档链接和作者的联系方式以获取更多帮助。
摘要由CSDN通过智能技术生成

背景

MySQL库A 到 MySQL库B的增量数据同步需求

DolphinScheduler中配置DataX MySQL To MySQL工作流

工作流定义

工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件 SHELL组件(文章) 脚本 

echo '文章同步 MySQL To MySQL'

DATAX组件(t_article) 用到2个插件mysqlreader^[1]、mysqlwriter^[2] 选 自定义模板：

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://${biz_mysql_host}:${biz_mysql_port}/你的数据库A?useUnicode=true&zeroDateTimeBehavior=convertToNull&characterEncoding=UTF8&autoReconnect=true&useSSL=false&&allowLoadLocalInfile=false&autoDeserialize=false&allowLocalInfile=false&allowUrlInLocalInfile=false"
                                ],
最低0.47元/天 解锁文章
流水理鱼
关注
DolphinScheduler 调度 DataX 实现 MySQL To ElasticSearch 增量数据同步实践
hack1015的专栏
03-02 3474
数据同步的方式 数据同步的2大方式 基于SQL查询的 CDC(Change Data Capture)： 离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据。也就是我们说的基于SQL查询抽取； 无法保障数据一致性，查的过程中有可能数据已经发生了多次变更； 不保障实时性，基于离线调度存在天然的延迟; 工具软件以Kettle（Apache Hop最新版）、DataX为代表,需要结合任务调度系统使用。 基于日志的 CDC： 实时消费日志，流处理，例如 MySQL 的 bin.
使用DolphinScheduler调度DataX完成Mysql到Mysql的数据同步
weixin_47261774的博客
09-06 4722
使用DolphinScheduler调度DataX完成Mysql到Mysql的数据同步
DolphinScheduler使用DataX简单抽取数据(MySQL)
weixin_42890062的博客
07-12 924
dolphinscheduler使用DataX增量抽取数据
Dolphinscheduler 集成DATAX
最新发布
zgj123456a的博客
08-07 355
datax默认环境变量存配置位置/opt/module/dolphinscheduler/conf/env/dolphinscheduler_env.sh。usr/java/jdk1.8.0_181-cloudera 为环境安装的位置 通过 which java 或者 echo $JAVA_HOME 查看。1. 环境配置: 按照自己服务器中相关环境安装的位置配置相应的环境变量.如果不配置,会使用datax默认的环境变量.2. 修改环境变量以后执行调度任务。执行下面命令,添加软连接.
DolphinScheduler + Datax(3.1.8)集群部署
希的博客
04-22 1781
DolphinScheduler 本身不依赖 Hadoop、Hive、Spark，但如果你运行的任务需要依赖他们，就需要有对应的环境支持。完成上述步骤后，您已经为 DolphinScheduler 创建一个新数据库，现在你可以通过快速的 Shell 脚本来初始化数据库。验证： python /usr/local/datax/bin/datax.py …如果您不使用某些任务类型，您可以忽略任务外部依赖项，但您必须根据您的环境更改。完成基础环境的准备后，需要根据你的机器环境修改配置文件。
dolphinscheduler搭配datax跨库数据库全量更新
stringjava_001的博客
05-22 816
python位系统自带地址，目录为、/usr/lib/pyhton2.7，但是在配置时，不PYTHONE_HOME只到/usr，下面$PYTHON_HOME/bin 修改为 $PYTHON_HOME/lib，在执行datax服务时默认会默认带上/python2.7，所以这里要去掉；配置地址在/dolphinscheduler-bin/bin/env/dolphinscheduler_env.sh。执行tar -zxvf datax.tar.gz。4）执行任务：上线任务，执行任务。3、设置项目及工作流。
dolphinscheduler 1.2.1 运行datax任务，重复同步数据库问题排查记录
10-14 2593
稳定跑了一年的调度系统，突然包含datax节点的工作流集体报错，报错原因都是主键冲突，点进去查看，发现报错的节点大部分实际上是成功状态，但是状态为失败，而真正失败的节点报的都是主键冲突错。
dolphinscheduler之datax记录
txw1234的博客
04-10 1258
Hive在建表的时候，可以指定分区partition，例如创建分区partition(day=“20150820”,hour=“09”)，对应的hdfs文件系统中，相应的表的目录下则会多出/20150820和/09两个目录，且/20150820是/09的父目录。另外需要注意的是，HdfsReader在读取textfile数据时，需要指定字段分割符，如果不指定默认为’,'，HdfsReader在读取orcfile时，用户无需指定字段分割符。
第二章 基于dolphinscheduler的Datax组件进行数据迁移之Oracle到hive
qq_27924553的博客
12-13 2351
1、源表 create table T_YYBZB_TGH_BANKINFO ( id NUMBER, bank_id NUMBER, bank_name varchar(200) ); 同步源系统数据，每天一个分区表 2、创建hive目标表 （1）编写建表脚本 create table ods.ods_t_yybzb_tgh_bankinfo_di ( id int, bank_id int, bank_name string ) partitione
cloudin-datax是基于DataX开发的分布式数据同步工具，提供简单易用的操作界面，可视化定时任务配置监控和增量同步功能
06-03
DataX的核心设计原则是插件化，通过编写特定数据源的插件，实现数据源间的双向同步。 **2. Cloudin-DataX特性** - **分布式架构**：Cloudin-DataX利用DataX的分布式特性，支持大规模数据迁移，提高了数据同步的效率...
数据同步工具datax-web可视化工具
05-09
DataX是阿里巴巴开源的一款强大的数据同步框架，支持多种数据库之间的数据迁移，包括MySQL、Oracle、SQL Server、PostgreSQL等。DataX-Web在DataX的基础上增加了Web管理界面，方便用户进行任务配置、执行和监控。 1...
DolphinScheduler使用Datax同步Hive结果到MYSQL
熊浪的博客
06-14 4360
1、安装DolphinScheduler 2、创建租户信息 注意：租户名称就是Linux的执行命令的用户名称，所以不能出错 3、根据实际情况确定是否需要创建工作组，存在一个default默认工作组，是当前的所有机器，可以通过组信息来确定定特定的机器执行某个任务，比如DataX插件执行同步任务，可以只在某个机器上安装DataX，之后通过组信息来确定某个安装了同步插件的机器执行同步任务，这样可以降低每台机子上安装的插件个数，但可能会存在，某个机子宕机，任务不能执行的风险 4、环境管理 默认使用 ./dolp
Dolphinscheduler配置Datax抽取数据
weixin_43025027的博客
01-18 6058
需求是从mysql增量抽取数据到postgresql 练习了两种实现方式 第一种：使用海豚自带datax组件实现 第二种：在海豚里调用shell脚本实现，抽取配置写在shell脚本中 shell脚本配置内容如下： 下载地址：https://download.csdn.net/download/weixin_43025027/76460239 { “job”: { “content”: [ { “reader”: { “name”: “mysqlreader”, “parameter”: { “colum
Dolphinscheduler调度DataX配置
docsz的博客
07-09 7872
1、hive建表 create table nf_meat_ods.emp_wide ( empno int, ename string, job string, mgr int, hiredate date, sal int, comm int, deptno int, dname string, loc string ) ROW format delimited fields terminated BY “,” STORED AS TEXTFILE; 2、编写datax配置文件 ...
基于dolphinscheduler的增量数据同步至hive分区表
fengyu_lc的博客
07-27 4302
基于dolphinscheduler的增量数据同步至hive分区表前言一、创建新的hive分区表1.外部分区表sql准备2.创建工作流3、将sql语句写入工作流中4、保存选择租户，上线运行5、任务实例中查看运行状态，状态：成功 即创建成功，可以通过hive的beeline客户端执行如下命令查看表创建详情二、hive分区表创建好后需要增加分区，使用shell命令创建分区1、添加每天的定时增加分区任务2、配置shell命令，使用hivevar的方式提交参数3、配置参数：1）增加自定义变量2）点击保存 并增加.
第二章 DataX专题之dolphinscheduler集成DataX进行Mysql增量导入Hive
qq_27924553的博客
01-18 2387
dolphinscheduler集成DataX进行Mysql增量导入Hive（天分区表）
springboot项目集成dolphinscheduler调度器 实现datax数据同步任务
刘大猫
10-25 3085
Datax概述 1.概述 2.功能清单 功能清单 CRUD增删改查 、启动任务、停止任务 3.说明：本项目只支持mysql及hbase之间的数据同步 代码模块 配置文件 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem.
DataX与DataXWeb：大数据同步工具实战指南
"本教程是关于大数据ETL同步工具的实战演示，重点介绍DataX及其Web前端界面的应用，旨在帮助用户高效地实现不同数据源之间的数据同步。" 大数据ETL同步工具是处理海量数据的关键技术之一，它主要包括抽取（Extract...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值