DataX中的数据交互源码探究

最新推荐文章于 2022-12-14 15:57:10 发布
最新推荐文章于 2022-12-14 15:57:10 发布
阅读量329 收藏
点赞数
分类专栏： DataX 大数据 文章标签： DataX 源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38115840/article/details/103505564
版权

因为工作的原因,需要排查数据源端到目标端的数据是否丢失,正好有机会研究一下datax的源码.
这里我们探索的oracleReader和kuduWriter的数据交互,其他的组件原理类似

第一步:查看oracleReader端
oracleReader
图中标红的地方就是我们开始探索的入口
第二步:查看数据的查询和写入队列中
image.png
这里面重点关注sendToWriter,经过日志的打印,我们知道该实现类是BufferedRecordExchanger
第三步:探索BufferedRecordExchanger
image.png
需要关注的是一个buffer的list集合,sendToWriter的数据往集合中添加,再关注getFromReader方法中也是同一个buffer中获取数据,带着这个关注点,接着查看kuduWriter中获取数据是否也是这里
第四步:查看kuduWriter端
image.png
通过日志的打印,我们知道reader和writer的数据交互是从BufferedRecordExchanger中的buffer进行缓存交互的.
以上就是整个数据的交互的源码,也是在问题的排查过程中进行的验证,若有不对的地方,欢迎指正

山间浓雾有路灯，风雨漂泊有归舟
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DataX：通用数据采集工具，源自阿里巴巴DataX，增加了更多的读写插件，HDFS读写功能增强，支持Cassandra，ClickHouse，DBF，Hive，InfluxDB，Kudu，MySQL，Oracle，Presto（Trino），PostgreSQL ，SQL Server等数据源
02-03
DataX是一个支持主流数据库的通用数据采集工具 详细描述了如何安装部署和每个采集插件的使用方法 该项目从阿里的而来，经过了精简和改造，说明如下 功能差异说明 精简 删除了仅在阿里内部的数据库，这些数据库在非阿里集团无法使用，因此直接删除，包括： 美国存托凭证 DRDS OCS ODPS 开源软件 OTS 增加 增加了部分插件，目前包括 阅读器插件 clickhousereader dbffilereader hbase20xreader jsonfilereader Kudureader influxdbreader httpreader 作家插件 dbffilewrite 青梅作家 库杜作家 Influxdbwriter 部分插件增强功能，罗列如下 关系型数据库增加了几乎所有基本数据类型和部分复杂类型的支持 hdfswriter增加了对十进制数据类型格式的支持 hdfswriter增加了对Parquet文件格式的支持 hdfswrite增加了目录覆盖模式 hdfswriter增加了更多的文件压缩格式支持 hdfswriter的临时目录位置放入为当前写入目录下的
线程之间交换数据
做有积累的事
03-16 1254
public class ExchangerTest { /** * @exchanger.exchange(data1)只有两个线程同时到达了才能交换。多个线程之间交换时，先到的之间交换。 */ public static void main(String[] args) {            final Exchanger exchanger = new Exchange
淘宝DataX 数据交换机制学习总结
阿赖耶识的博客
11-27 3207
DataX是淘宝的数据同步工具，工作流程大概就是用Reader模块从源数据库读数据，在Storage模块里将Reader模块读到的数据交换给Write模块，Write模块将数据写进目的数据库。 整套工具是JAVA开发的。C++出身的对JAVA语法细节不熟悉，结合网络资料和项目源码注释，梳理一下Storage模块的逻辑流程。 DoubleQueue： 设立两块空间，一个存储源数据，
datax数据同步oracle到kudu
cclovezbf的博客
01-04 1273
datax新增了kuduwriter 但是很操蛋的是没有示例。但是代码都写好了。 我们直接根据源码取写json就行。 { "job": { "setting": { "speed": { "channel": 10 } }, "content": [ { "reader": { "name": "oraclereader", "parameter": {
数据源管理 | 基于DataX组件，同步数据和源码分析
【积累】，是一个长期持续的过程。
05-06 972
DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。絮叨一句异构数据源指，为了处理不同种类的业务，使用不同的数据库系统存储数据。...
DataX使用测试数据csv
04-21
自己博客上用到的数据
datax数据迁移shell
08-26
依据时间字段增量 1、创建要迁移表的文件，文件和脚本在同一级目录，名称为: transfer.txt 2、文件格式为：表名+列名+开始时间+结束时间（以+隔开） 3、迁移数据 4、记录迁移信息到目的库
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
数据同步工具datax-web可视化工具
05-09
数据同步工具datax-web可视化工具，可实现跨数据库数据同步，项目实际使用实践请大家放心下载。
datax源码在线下载
12-17
datax源码在线下载datax源码在线下载datax源码在线下载
datax参数设置_Datax3.0中配置解读(2)
weixin_34036423的博客
01-26 1906
限速的逻辑首先我们自己可以想像限速的地方会在什么地方?当reader读取数据，发送到内存通道的时候可以进行速度的控制。顺着这个思路，我们开始阅读代码1-我们知道BufferedRecordExchanger.sendToWriter()方法，是发送数据到内存通道的地方，里面的flush();方法则是真正执行发送的地方。@Overridepublicvoidflush(){if(shutdow...
datax底层原理_手把手实现Datax3.0中的传输通道
weixin_39915605的博客
12-19 942
Datax的整体框架我们已经大体了解。这次来分析一下reader到writer中间数据的传输层。这次采取另外一种方式，我们把代码抽取，自己实现一个通道1-首先是定义一个接口代表传输的每一条数据publicinterfaceRecord{publicvoidaddColumn(Columncolumn);publicvoidsetColumn(inti,finalColumn...
datax的架构原理
qq_31277531的博客
04-26 1618
datax的架构图 我们会预先确定好：channel的数量，factor 数量，切分主键，每个taskGroup的最大channel数量 engine是一个主线程，会根据reader设置切分的规则对读取任务进行切分成多个task，writertask的数量会和reader task数量保持一致，我们姑且理解这个为 task对。 然后他会根据我们确定好的channel数量去确定taskGroup的数量，例如 taskGroup的实际数量 = channel数/单个task的最大channel数。 ...
DataX运行流程-源码解读
YaoZhiyi
02-10 2857
Engine入口（com.alibaba.datax.core.Engine）main方法里面执行entry()方法： Entry()方法主要做了2件事情，解析生成configration生成一个新的Engine然后启动Engine的start()方法 ConfigParser.parse()这个方法主要做以下三件事，然后生成一个configration用来执行start()方法： 1） 解...
DataX源码解析与插件开发
qq_26777585的博客
09-26 1563
DataX源码解析与插件开发 DataX是个啥 框架设计 源码下载与工程编译 Job&Task概念 物理运行模型 源码解析(不包括重入锁和有界阻塞队列) 插件开发和调试 插件部署 Datax源码解析与Writer插件开发 Datax是个啥 DataX 是阿里巴巴集团内被广泛使用的 离线数据 同步工具/平台，实现包括 MySQL、Oracle、Sq...
datax之channel学习
cclovezbf的博客
12-14 1757
可以看到 reader是一条条发的，但是中间搞了一个buffer，buffer里只能装32条数据或者64M的而数据，到了这个界限，就会flush到channel里去，reader读数据(可能一条条读可能一批批读)读到的数据一条条的写到buffer里，当buffer=32的时候，再放到channel里去。reader比writer快，这个时候我们可以加大channel的size，保存更多数据，但感觉用处也不大。//buffer没数据，我就从channel里获取32个数据到buffer，然后一个个消费。
datax-kuduwriter常见报错
chimchim66的博客
10-18 2883
kuduwriter
Zookeeper watch机制原理
LiuRenyou的博客
10-30 1363
Zookeeper watch机制原理准备工作watch示例源码解析 准备工作 经过上一小节的学习我们知道ZookeeperServerMain是单机版的服务器主类 我们可以自己写一个ZkClient类 public class ZkClient { public static void main(String[] args) throws IOException, KeeperException, InterruptedException { final CountDownLatch
DataX学习笔记-Writer插件开发(续)
PURSUE ONE PIECE
06-01 6608
之前那篇笔记基于的DataX版本比较低，现换成git上最新版本的DataX重新开发基于将数据写入ElasticSearch的Writer插件 1、检出DataX源码（git clonehttps://github.com/alibaba/DataX.gitDataX），导入项目，新建一个eswriter的maven项目进行插件开发。 2、在DataX安装目录的plugins/w...
datax 怎样将数据传入kafka中
最新发布
07-12
您好！要使用DataX将数据传入Kafka中，您需要进行以下步骤： 1. 首先，确保已经安装并配置好DataX和Kafka。 2. 创建一个DataX的任务配置文件，配置文件的格式为JSON。示例如下： ```json { "job": { "setting": { "speed": { "channel": 1 } }, "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "your_username", "password": "your_password", "connection": [ { "jdbcUrl": [ "jdbc:mysql://localhost:3306/your_database" ], "table": [ "your_table" ] } ] } }, "writer": { "name": "kafkawriter", "parameter": { "topic": "your_topic", "bootstrapServers": "localhost:9092" } } } ] } } ``` 3. 在配置文件中，根据您的实际情况修改以下参数： - `username`：MySQL数据库的用户名 - `password`：MySQL数据库的密码 - `jdbcUrl`：MySQL数据库的连接地址 - `table`：要读取的数据表名 - `topic`：要写入的Kafka主题名 - `bootstrapServers`：Kafka的启动服务器地址 4. 保存配置文件，并使用以下命令来运行DataX任务： ```shell datax.py your_job_config.json ``` 5. DataX将会读取MySQL中的数据，并将数据写入指定的Kafka主题中。 这样，您就成功地使用DataX将数据传入Kafka中了。希望对您有所帮助！如果您有任何问题，请随时向我提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值