datax底层原理_Datax数据统计原理

Datax 数据统计原理

根据datax的运行模式的区别， 数据的收集会有些区别，这篇文章都是讲的在standalone模式下。

统计数据类

DataX所有的统计信息都会保存到Communication类里面。Communication支持下列数据的统计计数器，比如读取的字节速度，写入成功的数据条数

统计的时间点

字符串类型的消息

执行时的异常

执行的状态， 比如成功或失败

Communication有下列属性保存统计数据1

2

3

4

5

6

7

8

9

10

11

12

13

14private Map counter;

// 执行状态

private State state;

// 异常记录

private Throwable throwable;

//在哪个时间点统计数据

private long timestamp;

// 消息集合

Map> message;

如果需要汇总多个Communication的数据，Communication提供了mergeFrom方法。根据不同的数据类型，对应着不同的操作计数器类型，相同的key的数值累加

合并异常，当自身的异常为null，才合并别的异常

合并状态，如果有任意一个的状态失败了，那么返回失败的状态。如果有任意一个的状态