Datax-web多任务并行监控

已于 2023-06-30 18:24:26 修改
阅读量715 收藏
点赞数 1
分类专栏： 数据同步 文章标签： java etl
于 2023-03-27 18:31:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wenchun001/article/details/129798950
版权

1，自动定时任务入口在：com.wugui.datax.admin.core.thread.JobScheduleHelper

2，手动触发入口：

 com.wugui.datax.admin.controller.JobInfoController

两处都会触发job，到同一处：com.wugui.datax.admin.core.thread.JobTriggerPoolHelper

继续往下找到执行datax任务的地方。。。

是不是很熟悉，看到这里有执行任务的日志输出，哈哈😄：com.wugui.datax.admin.core.trigger.JobTrigger

 but but but  这是同步的线程，执行datax job是异步的

上面是失败打印的日志

接下来 看看他的线程任务情况吧

执行job的地方在：com.wugui.datax.executor.service.jobhandler.ExecutorJobHandler

码农服务社
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
datax-web-2.1.2.zip
08-14
datax-web-2.1.2.zip
Datax 插件二次开发之parquet日志问题处理
qq_34599449的博客
01-28 2291
Datax 插件二次开发之parquet日志问题处理 Date: December 31, 2021 参考文档： https://blog.csdn.net/wuleidaren/article/details/106395549 https://cloud.tencent.com/developer/ask/123020 1.问题背景 1.1 发现问题 前面对Datax进行了插件开发，能够正常使用，但是发现一个问题，每次执行时，在datax 的日志中会出现很多parquet的无效日志，类似下边： 这样，
ETL主题仓库之datax日志分析
静待花开时，终有重逢日。
09-14 1390
这篇是对于datax的日志进行分析方便我们管理 直接上代码 #!/usr/bin/python # -*- coding: UTF-8 -*- # 0 5 * * * source /etc/profile && /usr/bin/python2.7 /opt/datax/job/save_log_to_db.py > /dev/null 2>&1 import re import os import pandas as pd import datetime as dt
DataX使用之MongoDB2HDFS
手提青灯觅佳人的博客
09-09 485
序： 本文首先介绍DataX使用(编写配置文件的方式)之MongoDB中的数据导出到HDFS上的一些注意事项，datax安装没有什么坑，所以本文不对此进行详细介绍，详细安装过程请自行查看官网。 一、datax的基本使用 1、datax的目录结构 目录说明： backup：本人自己创建的备份目录 ，因为后续使用过程中涉及到更改源码，将原生的jar包备份到此文件夹中 bin：datax的命...
【转】dataX简介
hero_xsx的博客
10-29 621
本文为转载文，原文链接为https://blog.csdn.net/u014646662/article/details/82792725 一. DataX3.0概览 二、DataX3.0框架设计 三. DataX3.0插件体系 四、DataX3.0核心架构 五、DataX 3.0六大核心优势 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博...
阿里云开源离线同步工具DataX3.0介绍
weixin_34393428的博客
08-24 3323
阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星...
datax并发日志解读
viviliving的专栏
07-05 856
1、总job信息 2021-07-04 11:12:58.033 [job-0] INFO JobContainer - DataX Reader.Job [oraclereader] do prepare work . 2021-07-04 11:12:58.048 [job-0] INFO JobContainer - DataX Writer.Job [mysqlwriter] do prepare work . 2021-07-04 11:12:58.048 [job-0] INFO Job...
Datax调度与数据传输流程
qq_45019698的博客
03-27 1022
Datax调度与数据传输流程 调度指的是 Datax 根据数据(任务执行情况)来进行任务执行的顺序以及优先级；数据传输是指 reader 和 writer 是如何配合进行数据之间的交互，以及 Datax 的一些特性例如速率把控、并行操作等是如何实现的。 1. 调度流程 调度流程的代码入口在 JobContainer.java 的 schedule() 方法。 首先会获取全局的channel数、每个TaskGroup的channel数以及计算需要的channelNumber个数 int channel
阿里云DataWorks数据集成（DataX）架构&实践分享
敲代码的乔帮主
09-29 6055
阿里云DataWorks数据集成（DataX）架构&实践分享 分享嘉宾：罗海伟阿里云 编辑整理：约理中国科学院大学 目录 阿里云DataWorks数据集成（DataX）架构&实践分享 ▌为什么需要数据集成 数据集成的应用场景 数据集成的角色和地位 ▌阿里云数据集成大事记 ▌阿里云数据集成产品定位和业务支撑情况 阿里云数据集成产品定位 阿里云数据集成业务支撑情况 ▌阿里云数据集成DataX设计核心思路 离线数据同步原理 实时数据同步原理 ▌阿里云数据集成Dat..
DataX-Web 解决任务批量构建Bug
程序员大佬超的博客
12-09 919
偶然发现异构数据库之间表的对应关系错乱，最终排查是由于两边表名大小写导致。
大数据面试之离线数仓--DataX可以做并发数据同步吗，怎么做
tianxingcheng的博客
08-25 634
设置数据过滤和脱敏：在 DataX 的配置文件中，可以设置数据过滤规则和脱敏规则。通过设置过滤规则，可以只同步需要的数据，减少不必要的数据同步。每个节点可以负责处理一部分数据同步任务，通过负载均衡实现并发数据同步。综上所述，通过多线程或多进程、任务优先级、分布式架构、数据过滤和脱敏以及增量同步等方法，DataX 可以实现并发数据同步。使用增量同步：DataX 支持增量同步，只同步源数据和目标数据之间的差异部分，减少数据同步的时间和资源消耗。DataX 是一款高效的数据同步工具，可以实现并发数据同步。
datax-web-ui:DataX Web UI
03-20
Datax Web UI说明该项目由修改而来构建设置运行npm install [ 慢的话用 npm install --registry https://registry.npm.taobao.org]修改配置找到vue.config.js修改proxy里的属性即可[process.env.VUE_APP_API]: { ...
CDH和datax-web离线安装文档.docx
07-25
CDH6.2.0、datax-web2.1.2 离线安装文档，从本地yum源配置到数据库安装以及cdh和datax-web的安装，亲测非常详细
数据同步工具datax-web可视化工具
05-09
数据同步工具datax-web可视化工具，可实现跨数据库数据同步，项目实际使用实践请大家放心下载。
javase源码-datax-web:dataxweb。datax中的web配置界面没有集成在一起开源出来，此为web端配置项目
06-04
build/libs/datax-web-0.0.1.war 部署环境 系统： CentOS Linux release 7.6.1810 (Core) java： java version "1.8.0_201" Java(TM) SE Runtime Environment (build 1.8.0_201-b09) Java HotSpot(TM) 64-Bit Server...
datax同步分布式mysql_datax-web: DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面...
weixin_29596485的博客
02-01 1033
DataX-WebDataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。任务"执行器"支持集群部署...
DataX 概述、部署、数据同步运用示例
JIE的博客
09-15 2725
DataX是阿里巴巴集团开源的、通用的数据抽取工具，广泛使用的离线数据同步工具/平台。它设计用于支持多种数据源之间的高效数据传输，可以实现不同数据源之间的数据同步、迁移、ETL（抽取、转换、加载）等数据操作。多数据源支持：DataX支持多种数据源，包括关系型数据库（如 MySQL、Oracle、SQL Server）、NoSQL 数据库（如 MongoDB、HBase、Redis）、HDFS、FTP、Hive 等。扩展性。
数据库ETL工具DataX 日志批量汇总统计
最新发布
m0_37392584的博客
11-21 171
ETL工具，DataX工具，DataX日志，需要定期迁移同步多张表的数据，使用datax执行定制任务，但是每天都需要去查看数据同步的数据量，及其执行是否成功，但是datax原生的日志文档查看，需要一张一张的打开阅读，所以就有了想批量汇总的想法。
大数据技术之DataX
Wallaceed的博客
08-10 975
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
datax-web 创建任务模版
08-16
要在DataX-Web中创建任务模板，首先需要安装DataX-Web并启动服务。安装DataX-Web的详细步骤可以参考中提供的链接。安装完成后，可以通过访问指定的地址[ip:9527/index.html，使用预设的账号(admin)和密码(123456)登录DataX-Web。登录成功后，可以按照以下步骤创建任务模板： 1. 在DataX-Web的界面中，找到菜单中的“数据源”选项，点击进入。 2. 在数据源页面中，选择创建新的数据源，填写相关信息，例如数据库的连接信息、用户名、密码等。 3. 创建完数据源后，回到DataX-Web的主界面，找到菜单中的“项目”选项，点击进入。 4. 在项目页面中，选择创建新的项目，填写项目的名称和描述等信息。 5. 创建完项目后，在项目详情页中，找到“任务模板”选项，点击进入。 6. 在任务模板页面中，选择创建新的任务模板，填写模板的名称、描述以及相关的配置信息。 7. 配置信息包括读取器和写入器的设置，可以根据具体需求选择相应的插件和参数。 8. 创建完任务模板后，可以在任务模板列表中查看和管理已创建的模板。 通过以上步骤，您就可以在DataX-Web中成功创建任务模板了。请确保您已按照正确的步骤安装和配置DataX-Web，并在登录后按照上述步骤进行操作。希望对您有帮助！ 引用内容： DataX-Web下载和安装: 链接地址：ip:9527/index.html，账号：admin，密码：123456 DataX任务模板创建和使用的详细步骤<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [使用DataX同步数据库数据，并使用DataX-Web创建同步任务](https://blog.csdn.net/txyllyyj/article/details/129144623)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值