DataX
文章平均质量分 91
DataX学习笔记
杨林伟
像火箭科学家一样思考!
展开
-
深入理解DataX与SeaTunnel的核心架构
深入理解DataX与SeaTunnel架构原创 2024-07-08 22:49:59 · 1285 阅读 · 0 评论 -
DataX教程(10)- DataX插件热插拔原理
文章目录01 引言02 双亲委派机制2.1 类加载器关系2.2 双亲委派机制流程2.3 基于SPI机制破坏双亲委派03 DataX插件热插拔3.1 ClassLoaderSwapper线程类加载器管理3.2 LoadUtil插件加载工具3.2.1 获取类加载器3.2.2 加载插件04 文末01 引言通过前面的博文,我们对DataX有了一定的深入的解了:《DataX教程(01)- 入门》《DataX教程(02)- IDEA运行DataX完整流程(填完所有的坑)》《DataX教程(03)- 源码解读原创 2022-02-18 12:02:15 · 1407 阅读 · 0 评论 -
DataX教程(09)- DataX是如何做到限速的?
文章目录01 引言02 逆向定位代码03 Channel类里实现限速04 文末01 引言通过前面的博文,我们对DataX有了一定的深入了解了:《DataX教程(01)- 入门》《DataX教程(02)- IDEA运行DataX完整流程(填完所有的坑)》《DataX教程(03)- 源码解读(超详细版)《DataX教程(04)- 配置完整解读》《DataX教程(05)- DataX Web项目实践》《DataX教程(06)- DataX调优》《DataX教程(07)- 图解DataX任务分配原创 2022-02-17 17:45:20 · 3023 阅读 · 0 评论 -
DataX教程(08)- 监控与汇报
文章目录01 引言02 监控功能2.1 ErrorRecordChecker2.2 ErrorRecordChecker源码2.3 ErrorRecordChecker检查时机03 汇报功能3.1 汇报运行流程3.2 汇报的运行流程3.2.1 汇报的几个角色3.2.2 汇报的流程3.3 什么时候写信息内容3.4 Channel通讯信息接收04 引言01 引言通过前面的博文,我们对DataX有了一定的深入了解了:《DataX教程(01)- 入门》《DataX教程(02)- IDEA运行DataX完整原创 2022-02-17 17:04:38 · 2422 阅读 · 1 评论 -
DataX教程(07)- 图解DataX任务分配及执行流程
文章目录01 引言02 图解任务分配及执行流程03 文末01 引言通过前面的博文,我们对DataX有了一定的深入了解了:《DataX教程(01)- 入门》《DataX教程(02)- IDEA运行DataX完整流程(填完所有的坑)》《DataX教程(03)- 源码解读(超详细版)《DataX教程(04)- 配置完整解读》《DataX教程(05)- DataX Web项目实践》《DataX教程(06)- DataX调优》本文主要讲解的是DataX的任务分配以及执行的流程。02 图解任务分原创 2022-02-16 17:46:21 · 2534 阅读 · 0 评论 -
DataX教程(06)- DataX调优
文章目录01 调优方向02 网络本身的带宽等硬件因素造成的影响03 DataX本身的参数3.1 全局3.2 局部3.3 JVM 调优04 注意事项本文转载于:https://waterwang.blog.csdn.net/article/details/11294786801 调优方向网络本身的带宽等硬件因素造成的影响;DataX本身的参数;即当觉得DataX传输速度慢时,需要从上述两个个方面着手开始排查。02 网络本身的带宽等硬件因素造成的影响此部分主要需要了解网络本身的情况,即从源端到转载 2022-02-11 17:58:19 · 4951 阅读 · 0 评论 -
DataX教程(05)- DataX Web项目实践
文章目录01 引言02 DataX Web概述03 DataX Web本地运行04 DataX Web简单使用4.1 step1: 新增数据源4.2 step2: 新增任务模板4.3 step3: 任务构建4.4 step4: 查看任务05 文末01 引言通过前面的博文,我们大概把DataX的用法、源码以及配置全部理清了:《DataX教程(01)- 入门》《DataX教程(02)- IDEA运行DataX完整流程(填完所有的坑)》《DataX教程(03)- 源码解读(超详细版)《DataX教程原创 2022-02-11 17:15:35 · 4746 阅读 · 1 评论 -
DataX教程(04)- 配置完整解读
文章目录01 引言02 bin目录文件解析03 CoreConstant类01 引言通过前面的博文,我们知道了DataX的概念以及原理了:《DataX入门》《IDEA运行DataX完整流程(填完所有的坑)》《DataX源码分析(超详细版)》本文需要讲解的是DataX的配置,即编译打包后的bin目录配置文件:以及conf目录的配置文件:还有job目录的配置文件:在阅读本文前,需要知道python的相关语法,之前写过相关的专栏,有兴趣的童鞋可以参阅下:《Python专栏》02 bi原创 2022-02-10 18:07:38 · 11206 阅读 · 2 评论 -
DataX教程(03)- 源码解读(超详细版)
文章目录01 引言02 DataX框架讲解2.1 DataX设计思想2.2 DataX运行流程2.2.1 DataX运行流程解析2.2.1 DataX运行流程简单举例03 DataX源码分析01 引言通过前面的两篇博文,我们可以在IDEA下运行DataX源码项目了:《DataX入门》《IDEA运行DataX完整流程(填完所有的坑)》本文需要讲解的是DataX的源码。声明:本文原创作者:阿甘兄作者博客地址:https://yanglinwei.blog.csdn.net/需要转载的原创 2022-01-26 15:32:55 · 6488 阅读 · 3 评论 -
DataX教程(02)- IDEA运行DataX完整流程(填完所有的坑)
文章目录01 引言02 IDEA下运行DataX2.1 步骤1:clone源码2.2 步骤2:编译源码2.3 步骤3:配置编译后的包2.4 步骤4:复制用到的插件2.5 步骤5:配置运行环境2.6 步骤6:启动项目01 引言关于DataX,在前面的博文《DataX入门》已经介绍过,因为官方没有IDEA运行的示例文档,网上的资料参差不齐,所以本文主要讲解如何在IDEA的环境下跑起DataX,一次填完所有的坑。我使用的环境是(没必要安装python):jdk1.8macos操作系统(这个不重要,wi原创 2022-01-19 10:59:26 · 7751 阅读 · 11 评论 -
DataX教程(01)- 入门
文章目录01 引言02 DataX引入03 DataX3.1 DataX概念3.2 DataX原理3.3 DataX架构3.3.1 Job作业3.3.2 Task子任务3.3.3 TaskGroup3.4 DataX代码执行流程01 引言因为最近使用到了DataX,所以接下来需要来个系统的学习,并以博客的形式记录。DataX的源码地址:https://github.com/alibaba/DataXDataX官方介绍:https://github.com/alibaba/DataX/blob/ma原创 2022-01-12 21:01:16 · 6615 阅读 · 0 评论