DMETL5——数据转换组件

 

目录

1）数据清洗

（1）空值替换等

（2）xml到数据行

 （3）json到数据行

 （4）数据行到json

 2）联合

3）数据集查找

 4）数据质量检测

5）SQL脚本

6）设置变量

 7）排序

8）聚合

9）连接

10）列转换

11）增量对比

---

1）数据清洗

（1）空值替换等

 

（2）xml到数据行

 （3）json到数据行

此处应该手动填写列路径：$.Rows[*].C1（正则表达式）

 

 （4）数据行到json

 

 2）联合

 

3）数据集查找

 

 4）数据质量检测

使用组件时，应当在数据质量处新建规则

 

5）SQL脚本

 

6）设置变量

新建变量

 

 7）排序

 

 

8）聚合

设置需要分组的列，数据将按照分组列被分组，作用相当于SQL语句中的group by

 

9）连接

类似于数据库的内连接、左外连接、右外连接以及完全外连接。

内连接只输出在连接列上完全匹配（或相等）的数据

 

 

10）列转换

增加新的一列，将表达式“current_timestamp_str ()”返回当前时间的值当做列值并输出。

设置不同的值类型：将表达式"current_timestamp_str()"返回的当前时间作为列转换中新增加列的值并输出，列名称设置为“CURRENT_TIME”，数据类型String，值类型表达式；映射值对应字段PERSONID；SQL查找语句；固定值设置为1；序列类型起始值为1，增量为1，最大值为1000

 

 

11）增量对比

将表“ADDRESS_TYPEID”作为数据源，将表“ADDRESS_TYPEID1”作为数目的，通过增量比对组件对源端数据和目的端数据进行增量数据的抽取

 

 DMETL5可以在达梦数据库官网下载免费试用，欢迎访问达梦数据库社区进行交流，查看更多技术文档。