DMETL5——数据读取组件

1）SQL查询

 

 2）表/视图-多表读取

3）表/视图-分区读取

 

4）文本文件-单文件读取

提供文本文件数据的访问功能，可以将固定格式的文本文件已表形式进行解析之后提供给ETL引擎进行处理。提供字符集、行分隔符、列分隔符以及文本限定符等多种设置选项，方便对文本文件进行拆分。并且提供文件编码的字符集和行分隔符的检测功能。

 

 

5）文本文件-批量读取

 

以下几个数据读取组件使用方式类似，以XML文件为例

6）CSV文件-单文件读取（.csv）

7）CSV文件-批量读取

8）Excel文件-单文件读取（.xls）

9）Excel文件-批量读取

10)XML文件-批量读取（.xml）

 

11）触发增量

对源表进行插入、更新、删除操作，执行增量同步后，目的表中的数据相应的变化

 

 

增量表比普通表多两列CDC_ID和CDC_OPT，用来记录对源表的操作

12）键值缓存读取

要注意的是先键值缓存写入数据，才能利用读取，读取到文本文件中，否则文本文件为空

 

13）增量列

用户可以通过列数据的递增性获取表中的增量数据。主体思路是依据表数据有递增的特性，记录上次读取的数据中的最大值。下次在读取时认为大于记录值的为新增数据，从而实现只读取新增数据的效果