![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
datax
文章平均质量分 90
凯哥多帅哦
当编程成为一种习惯
展开
-
datax(八)源码阅读之reader、writer协作机制
目录一、前言二、核心源码解读①writer线程②reader线程③源码流程图三、总结一、前言我们都知道我们在使用datax完成一个异构数据源的同步任务的时候,比如从mysql读取一张表写入到hdfs,我们只需要配置一个json文件进行reader和writer的配置,然后执行datax,他就会不断的从reader处拉取数据写入到writer,这个过程是持续进行的,直到所需要的数据都读取且写入完毕,才算完成任务,那么这个过程中reader和writer是怎么协作的呢,我们下面慢原创 2021-01-03 18:32:26 · 2920 阅读 · 0 评论 -
datax(六)源码阅读之外部插件加载机制(reader、writer)
目录一、插件使用方法二、插件机制原理三、源码走读四、QA一、插件使用方法众所周知,datax通过插件机制,动态的在运行时载入reader和writer进行数据同步的执行。站在用户侧,用户只需要做下列步骤就可以实现插件执行1、按datax的约定实现自己的插件,并放在${DATAX_HOME}/plugin/reader/或者${DATAX_HOME}/plugin/writer/目录下,以mysqlreader为例jar包就是用户实现的mysqlreader插件,lib原创 2021-01-02 21:34:03 · 1922 阅读 · 1 评论 -
datax(七)源码阅读之运行时监控MXBean
目录一、JMX前置知识二、datax的运行时监控三、运行时常用的MXBean大全一、JMX前置知识官方文档:https://docs.oracle.com/javase/tutorial/jmx/index.html网上比较不错的文章:http://www.tianshouzhi.com/api/tutorials/jmx/28简单的说就是,JMX可以通过MBean的注册来实现运行时监控,而MXBean是一种可以支持复杂变量类型的MBean,具体的细节大家可以参考下上面两篇.原创 2021-01-02 16:49:21 · 1024 阅读 · 0 评论 -
datax(四)源码阅读之一张图搞定datax执行流程(附带各种说明)
执行流程图如下,还在持续补充更新:https://www.processon.com/view/link/5fe81e2363768932a287d1fc原创 2020-12-28 14:53:02 · 640 阅读 · 0 评论 -
datax(三)源码阅读之脚本入口datax.py
目录一、整体流程二、获取参数解析器解析参数流程三、构建启动命令流程一、整体流程我们线上使用datax,一般会通过执行datax.py进行datax任务的启动,比如执行如下命令:python datax.py datax.json我们聚焦到datax.py的main方法:if __name__ == "__main__": printCopyright() // 1.打印版权信息 parser = getOptionParser() // 2.获取.原创 2020-11-08 21:57:00 · 2266 阅读 · 0 评论 -
datax(二)datax on azkaban架构设计之datax as a service
一、背景上篇文章说道,datax目前版本只支持单机模式,单机性能容易出现瓶颈,因此在线上使用datax做数据同步的时候,配合调度系统进行使用是个普遍的选择,这里我们选用的是azkaban作为调度系统进行设计,对datax进行封装提供服务。二、功能说明1、支持datax的服务调用,包括同步任务的执行、停止。2、支持分数据源类型 / 输出数据源类型 / 租户名称 /同步名称 /运行状态 / 创建者的同步任务列表分页查询。3、支持同步任务的状态查询,包括成功任务的指标查询;运行...原创 2020-11-03 22:10:05 · 1450 阅读 · 3 评论 -
datax(一)alibaba datax简介
github:https://github.com/alibaba/DataX目录一、datax简介1.1 原理简介1.1.1 概览1.1.2 框架设计1.1.3 核心架构1.2 特点1.3 使用场景二、data使用方式、注意点2.1 基本使用2.2 数据预处理2.2.1 transformer例子2.2.2 已有trasformer列表2.2.3扩展transformer方法2.3流控、并发调整2.3.1 流控、并发配置项2.3...原创 2020-11-03 00:09:51 · 5581 阅读 · 6 评论