datax
文章平均质量分 73
datax
踏雪江南
菜鸟一个相互探讨
展开
-
java调用使用datax
#简介DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。使用说明1下载源码从git上拉取datax代码下载到本地 dataxgit地址\2本地将代码编译cd {DataX_source_code_home}mvn -U clean package ass原创 2020-12-23 00:37:42 · 3036 阅读 · 5 评论 -
datax 自定义钩子实现类
文章背景:项目中使用datax 作为交换中间件,发现统计有异常,发现datax 统计异常,查看datax源码 发现datax 提供一个钩子函数 this.invokeHooks();涉及技术点spijava 调用datax 实现步骤1.实现hook接口package com.bonc.hamal.swapnode.datax;import com.alibaba.datax.common.spi.Hook;import com.alibaba.datax.common.util.Co原创 2021-07-28 15:43:54 · 843 阅读 · 3 评论 -
datax 通用的关系数据库读写插件
快速介绍组成介绍读写插件由RDBMSWriter和RDBMSReader两部分组成实现功能实现关系型数据库的读写实现原理RDBMSReader通过JDBC连接器连接到远程的RDBMS数据库,并根据用户配置的信息生成查询SELECT SQL语句并发送到远程RDBMS数据库,并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集,并传递给下游RDBMSWriter处理。RDBMSWriter 插件实现了写入数据到 RDBMS 主库的目的表的功能。在底层实现上, RDBMSWrit原创 2021-01-03 16:43:30 · 2089 阅读 · 0 评论