DolphinScheduler使用DataX简单抽取数据(MySQL)

于 2024-07-12 16:43:41 发布
阅读量341 收藏 9
点赞数 5
文章标签： mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42890062/article/details/140381167
版权

提示：假设dolphinscheduler环境已经搭建好

文章目录

一、环境配置

DolphinScheduler安装完成后,如果使用DataX组件进行数据抽取,则需要配置相关依赖地址(DataX、Python)

配置(dolphinscheduler/bin/env/dolphinscheduler_env.sh)

export PYTHON_HOME=${PYTHON_HOME:-/usr/local/Cellar/python/3.7.5/bin/python3.7}
export DATAX_HOME=${DATAX_HOME:-/Users/lijiuyang/Downloads/开发相关/安装包/datax-web/datax}

在这里插入图片描述

二、安全中心

创建租户

注意: 后面执行工作流时会使用该租户,所以要确保租户是否有执行权限,如果没有的话在执行时会报没有权限,需要密码,然后执行失败,推荐是操作系统租户(就是自己有权限的名字)
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

三、数据源中心

这里根据提示正常配置就行, 如果报错的话, 一般是缺少mysql依赖包,去下载对应的导入就行
在这里插入图片描述

四、数据源配置

1. 项目管理

首先需要创建一个项目才可以后续操作(创建好之后需要点击项目,进去后才可以创建对应的工作流、任务)
在这里插入图片描述
在这里插入图片描述

2.工作流

创建工作流,然后左侧找到对应的组件拖拽到画布进行编辑
以根据时间进行数据增量同步为例:

名称作用
时间记录表(表1-tim_ctl)记录上次同步后的时间,每次都先查询获取时间条件
源表(表2-master)取数据
目标表(表3-slave)塞数据

思路: 查询表1获取时间,作为表2查询的增量条件,然后把增量数据塞到表3
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.启动工作流

上线后才可以运行, 同理,下线后才可编辑
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

本章仅是做了DataX的增量抽取案例, 其余组件使用后续敬请关注
谢谢 ^ - ^

weixin_42890062
关注
  • 5
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
dolphinscheduler搭配datax跨库数据库全量更新
stringjava_001的博客
05-22 550
python位系统自带地址，目录为、/usr/lib/pyhton2.7，但是在配置时，不PYTHONE_HOME只到/usr，下面$PYTHON_HOME/bin 修改为 $PYTHON_HOME/lib，在执行datax服务时默认会默认带上/python2.7，所以这里要去掉；配置地址在/dolphinscheduler-bin/bin/env/dolphinscheduler_env.sh。执行tar -zxvf datax.tar.gz。4）执行任务：上线任务，执行任务。3、设置项目及工作流。
Dolphinscheduler配置Datax抽取数据
weixin_43025027的博客
01-18 5917
需求是从mysql增量抽取数据到postgresql 练习了两种实现方式 第一种：使用海豚自带datax组件实现 第二种：在海豚里调用shell脚本实现，抽取配置写在shell脚本中 shell脚本配置内容如下： 下载地址：https://download.csdn.net/download/weixin_43025027/76460239 { “job”: { “content”: [ { “reader”: { “name”: “mysqlreader”, “parameter”: { “colum
Dolphinscheduler配置Datax踩坑记录
热门推荐
快乐星球
11-09 1万+
tmp/dolphinscheduler/exec/process 下文件创建失败问题 dolphinscheduler调度datax任务时需要在tmp/dolphinscheduler/exec/process 目录下创建一系列临时文件，但是在worker运行日志中/opt/soft/dolphinscheduler/logs/dolphinscheduler-worker.log看到创建失败的报错 [taskAppId=TASK-1-10-13]:[178] - datax task failure j
DolphinScheduler使用Datax同步Hive结果到MYSQL
熊浪的博客
06-14 4207
1、安装DolphinScheduler 2、创建租户信息 注意：租户名称就是Linux的执行命令的用户名称，所以不能出错 3、根据实际情况确定是否需要创建工作组，存在一个default默认工作组，是当前的所有机器，可以通过组信息来确定定特定的机器执行某个任务，比如DataX插件执行同步任务，可以只在某个机器上安装DataX，之后通过组信息来确定某个安装了同步插件的机器执行同步任务，这样可以降低每台机子上安装的插件个数，但可能会存在，某个机子宕机，任务不能执行的风险 4、环境管理 默认使用 ./dolp
dolphinscheduler之datax记录
txw1234的博客
04-10 1150
Hive在建表的时候，可以指定分区partition，例如创建分区partition(day=“20150820”,hour=“09”)，对应的hdfs文件系统中，相应的表的目录下则会多出/20150820和/09两个目录，且/20150820是/09的父目录。另外需要注意的是，HdfsReader在读取textfile数据时，需要指定字段分割符，如果不指定默认为’,'，HdfsReader在读取orcfile时，用户无需指定字段分割符。
Dolphinscheduler使用Datax同步mongodb到doris
Jmayday
03-23 1986
datax数据同步
DolphinScheduler + Datax(3.1.8)集群部署
最新发布
希的博客
04-22 1343
DolphinScheduler 本身不依赖 Hadoop、Hive、Spark，但如果你运行的任务需要依赖他们，就需要有对应的环境支持。完成上述步骤后，您已经为 DolphinScheduler 创建一个新数据库，现在你可以通过快速的 Shell 脚本来初始化数据库。验证： python /usr/local/datax/bin/datax.py …如果您不使用某些任务类型，您可以忽略任务外部依赖项，但您必须根据您的环境更改。完成基础环境的准备后，需要根据你的机器环境修改配置文件。
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
dolphinscheduler配置
07-13
在这个配置过程中，我们将探讨如何将Dolphinscheduler与Hadoop、Spark、Hive、DataX、Python和Scala集成，以实现高效的数据处理流程。 首先，我们要了解Dolphinscheduler的基本配置。在安装Dolphinscheduler后，你...
datax数据从hive导入mysql数据缺失解决
01-18
在使用 DataX 将数据从 Hive 表导入 MySQL 表的过程中，遇到了数据缺失的问题。具体表现为，在某些特定条件下（如数据块大小超过 256M 时），导入到 MySQL 的数据量少于预期。 #### 现象分析 根据观察发现，当数据...
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
datax读写MySQL8的插件
04-19
本文将详细介绍DataX MySQL8读写插件的原理、使用方法以及可能遇到的问题。 一、DataX简介 DataX是阿里巴巴集团内部广泛使用的离线数据同步工具，经过大规模生产环境验证，具有高可用性、高性能和易用性。其工作...
DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战
hack1015的专栏
03-03 4207
背景 MySQL库A 到 MySQL库B的增量数据同步需求 DolphinScheduler中配置DataX MySQL To MySQL工作流 工作流定义 工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件 SHELL组件(文章) 脚本 echo '文章同步 MySQL To MySQL'DATAX组件(t_article) 用到2个插件mysqlreader^[1]、mysqlwriter^[2] 选 自定义模板： { &q.
Dolphinscheduler调度DataX配置
docsz的博客
07-09 7386
1、hive建表 create table nf_meat_ods.emp_wide ( empno int, ename string, job string, mgr int, hiredate date, sal int, comm int, deptno int, dname string, loc string ) ROW format delimited fields terminated BY “,” STORED AS TEXTFILE; 2、编写datax配置文件 ...
Docker部署dolphinscheduler stand-alone并集成datax
Moment_1的博客
03-29 771
docker部署dolphinscheduler,配置mysql,集成datax
第二章 基于dolphinscheduler的Datax组件进行数据迁移之Oracle到hive
qq_27924553的博客
12-13 2291
1、源表 create table T_YYBZB_TGH_BANKINFO ( id NUMBER, bank_id NUMBER, bank_name varchar(200) ); 同步源系统数据，每天一个分区表 2、创建hive目标表 （1）编写建表脚本 create table ods.ods_t_yybzb_tgh_bankinfo_di ( id int, bank_id int, bank_name string ) partitione
springboot项目集成dolphinscheduler调度器 实现datax数据同步任务
刘大猫
10-25 3024
Datax概述 1.概述 2.功能清单 功能清单 CRUD增删改查 、启动任务、停止任务 3.说明：本项目只支持mysql及hbase之间的数据同步 代码模块 配置文件 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem.
DolphinScheduler海豚调度教程_海豚调度使用说明(1)
2401_84160087的博客
04-08 2115
本文档为dolphinscheduler配置文件说明文档,针对版本为 dolphinscheduler-1.3.x 版本.
海豚调度 配置datax
12-27
海豚调度是一个用于数据抽取和数据同步的开源调度平台，而DataX是海豚调度中用于数据抽取的组件。下面是两种配置DataX的方式： 1. 使用海豚自带的DataX组件实现数据抽取： ```shell { "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "your_username", "password": "your_password", "column": ["column1", "column2"], "connection": [ { "querySql": [ "SELECT * FROM your_source_table" ], "jdbcUrl": [ "jdbc:mysql://your_mysql_host:your_mysql_port/your_database" ] } ] } }, "writer": { "name": "postgresqlwriter", "parameter": { "username": "your_username", "password": "your_password", "column": ["column1", "column2"], "connection": [ { "jdbcUrl": "jdbc:postgresql://your_postgresql_host:your_postgresql_port/your_database", "table": "your_target_table" } ] } } } ], "setting": { "speed": { "channel": "3" } } } } ``` 2. 在海豚调度中调用shell脚本实现数据抽取，抽取配置写在shell脚本中，需要配置reader和writer： ```shell #!/bin/bash datax/bin/datax.py your_job.json ``` 其中，your_job.json是包含DataX配置的JSON文件。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值